CTranslate2でRinnaモデルをコンバートしてCPUや8GB GPUで動くようにする - きしだのHatena
CTranslate2はTransformerモデルをCPUやGPUで効率的に動かすライブラリです。 https://github.com/OpenNMT/CTranslate2 CTranslate2の機能のひとつにモデルの量子化があります。INT8で量子化すると雑に必要メモリが半分に。そしてCPUでも動かしやすくなるので、GPUなくてもLLMが試しやすくなります。 まあ、INT8を使うだけだと、モデルの読み込み時のfrom_pretrainedにload_in_8bit=Trueをつければいいのだけど、これがbitsandbytesというライブラリを使ってて、そしてbitsandbytesがWindowsに対応していない。*1 一応、有志がビルドしたDLLを使えば動くのだけど、めんどい。 https://qiita.com/selllous/items/fbaa2c3d2d504e43
【Mamba入門】Transformerを凌駕しうるアーキテクチャを解説（独自の学習・推論コード含む） - Qiita
はじめに 薄紅色の柔らかなそよ風が恋しい今日この頃皆様いかがお過ごしでしょうか？ はじめまして。 某総合電機メーカ・某設計部門（機械設計）に属する 六花 牡丹（りっか ぼたん）と申します。 とある事情でこちらのサイトに不定期で記事を載せることがございます。 本記事ではMambaに関するアルゴリズム・数学的な原理に加え、独自に開発した学習・推論コードを示すことで基礎から応用までをカバーしています。 拙筆ではございますが、皆様のお役に立つことを心から願っております。 未熟者故、記事中にて誤記・欠落などが見られることがございます。 もし発見しました場合には、コメント等にてご指摘いただきますようお願い申し上げます。 私は記事を一般に周知する手段を有していないため、もし記事が有用であると判断された場合には、X（旧Twitter）等で拡散していただけますと幸いです。 2024/02/13 追記： X（
CV勉強会.pdf
ログイン読み込んでいます…
GitHub - yandex/YaLM-100B: Pretrained language model with 100B parameters
YaLM 100B is a GPT-like neural network for generating and processing text. It can be used freely by developers and researchers from all over the world. The model leverages 100 billion parameters. It took 65 days to train the model on a cluster of 800 A100 graphics cards and 1.7 TB of online texts, books, and countless other sources in both English and Russian. Training details and best practices o
GitHub - google-deepmind/alphafold: Open source code for AlphaFold.
This package provides an implementation of the inference pipeline of AlphaFold v2. For simplicity, we refer to this model as AlphaFold throughout the rest of this document. We also provide: An implementation of AlphaFold-Multimer. This represents a work in progress and AlphaFold-Multimer isn't expected to be as stable as our monomer AlphaFold system. Read the guide for how to upgrade and update co
1. はじめに 2. 先行研究からの学び 3. 前提 4. アーキテクチャ変更候補 活性化関数の変更 (SwishGLU) Transformer layerの並列化 biasパラメータ除去 Input-Output Embeddingの共有 (Weight tying) 5. 小規模モデルでの実験 実験設定 Transformer layerの並列化 SwishGLUの適用 Bias parameterの除去 bias削除の実験 最初もしくは最後のbiasだけを残す Input-Output Embeddingの共有 (Weight tying) 6. 中規模モデルでの実験 実験設定 モデルサイズでの比較 Shared Input output embeddings (weight tying) Transformer layerの並列化 SwishGLUの適用 7. 13Bパラメーター
【PyTorch】BERTの使い方 - 日本語pre-trained modelsをfine tuningして分類問題を解く - Qiita
【PyTorch】BERTの使い方 - 日本語pre-trained modelsをfine tuningして分類問題を解くPython自然言語処理機械学習PyTorchbert はじめに 自然言語処理の様々なタスクでSOTAを更新しているBERTですが、Google本家がGithubで公開しているものはTensorflowをベースに実装されています。 PyTorch使いの人はPyTorch版を使いたいところですが、PyTorch版は作っていないのでHuggingFaceが作ったやつを使ってね、ただし我々は開発に関与していないので詳しいことは彼らに訊いてね！とQAに書かれています。 HuggingFace製のBERTですが、2019年12月までは日本語のpre-trained modelsがありませんでした。 そのため、英語では気軽に試せたのですが、日本語ではpre-trained mod
オミータです。ツイッターで人工知能や他媒体の記事など を紹介していますので、人工知能のことをもっと知りたい方などは @omiita_atiimoをご覧ください！ 他にも次のような記事を書いていますので興味があればぜひ！ 画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ 畳み込み+Attention=最強？最高性能を叩き出した画像認識モデル「CoAtNet」を解説！ 帰ってきたResNet！最新の画像認識モデル「ResNet-RS」を解説！ 画像生成も畳み込まない！TransformerによるGAN「TransGAN」誕生&解説！ 【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- Vision Transformer(以下、ViT)はなぜ高い性能を叩き出せるのでしょうか。「そんなのAttentionのおかげに決まっ
Transformer Debugger (TDB) is a tool developed by OpenAI's Superalignment team with the goal of supporting investigations into specific behaviors of small language models. The tool combines automated interpretability techniques with sparse autoencoders. TDB enables rapid exploration before needing to write code, with the ability to intervene in the forward pass and see how it affects a particular
GPT-4 Turbo GPT-4 Turbo は、大規模なマルチモーダル モデル (テキストまたは画像の入力を受け入れ、テキストを生成します) であり、OpenAI の以前のモデルよりも高い精度で困難な問題を解決できます。 GPT-3.5 Turbo や以前の GPT-4 モデルと同様に、GPT-4 Turbo はチャット用に最適化されており、従来の入力候補タスクでも適切に動作します。 GPT-4 Turbo の最新の GA リリースは次のとおりです。 gpt-4バージョン:turbo-2024-04-09 これは、次のプレビュー モデルに代わるものです。 gpt-4バージョン:1106-Preview gpt-4バージョン:0125-Preview gpt-4バージョン:vision-preview OpenAI と Azure OpenAI GPT-4 Turbo with Visi
We report the development of GPT-4, a large-scale, multimodal model which can accept image and text inputs and produce text outputs. While less capable than humans in many real-world scenarios, GPT-4 exhibits human-level performance on various professional and academic benchmarks, including passing a simulated bar exam with a score around the top 10% of test takers. GPT-4 is a Transformer-based mo
論文読みメモ： Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting - クッキーの日記
2021-02-14 3枚目の絵を修正しました。以下の論文を読みます。私の誤りは私に帰属します。お気付きの点がありましたらご指摘いただけますと幸いです。Haoyi Zhou, Shanghang Zhang, Jieqi Peng, Shuai Zhang, Jianxin Li, Hui Xiong, Wancai Zhang. Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting. arXiv preprint arXiv:2012.07436, 2020. [2012.07436] Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting GitHub - zhouhaoyi
"Attention is All You Need" は本当か調べる - Re:ゼロから始めるML生活
”Attention is All You Need”というタイトルでTransformerの論文が発表されてから随分経ちます。 ただ、最近は”大事なのはSelf Attentionじゃない”といった趣旨の論文をちらほら見かけるようになってきていると感じていて、これについて自分用のメモがてらまとめてみようと思います。 出発点：Transformer Transformer Vision Transformer (ViT) Attention Attentionを使わなかったモデル MLP-Mixer MetaFormer (PoolFormer) gMLP ConvNeXt Attentionは本当に大事？に関する私見 参考文献 論文メモ 感想 出発点：Transformer まずはTransformerの構造について紹介しないと、Self Attentionが重要かどうか云々についてもわ
”実世界の幅広い事業領域において人工知能技術の研究開発・社会実装に取り組む”パナソニックグループの人工知能研究開発についてご紹介するサイトです。
何をしたのか(概要) 🤗Huggingface Transformersで提供されているmicrosoft/BiomedNLP-PubMedBERT-base-uncased-abstract-fulltextをベースにして、医療論文の2値分類用にFine tuningしました。 Modelには、上記のBERTをベースとして、LSTM, Conv1D, Linear層を追加し、BERTの重みを最大限活かした予測ができるように工夫しています。 Datasetには、Argument(データ拡張)処理を実装し、学習データの文章をランダムに削除したり入れ替えることで過学習の抑制をしました。 ラベル1が全体のうちの 1/43 程度しかなかったこと、評価指標がラベル1の正解を高く評価する指標であることから、損失関数のラベル1に対する重みを130倍 (ヒューリスティックス) に設定した。 Datase
GitHub - pytorch-labs/gpt-fast: Simple and efficient pytorch-native transformer text generation in <1000 LOC of python.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
機械学習エンジニアのためのTransformers
「Hugging Face Transformers」を使った自然言語処理の解説書。2017年の登場以来、Transformerと呼ばれるアーキテクチャを使った大規模なモデルが急速に普及しています。本書では、Hugging Faceの開発者らが、「Hugging Face Transformers」を使って、これらの大規模モデルを学習しスケールする方法をわかりやすく紹介します。テキスト分類、固有表現認識、テキスト生成、要約、質問応答といったタスクだけでなく、蒸留、量子化、枝刈り、ONNX Runtimeといったモデルの高速化技術、ラベル付きデータが少ないときに使えるゼロショット学習や少数事例学習、その他、多言語転移やドメイン適応といった類書では扱っていない技術についても解説しています。 賞賛の声 序文 訳者まえがき まえがき 1章 入門Transformers 1.1 エンコーダ・デコーダ
18 Aug 2019 code on github video lecture I will assume a basic understanding of neural networks and backpropagation. If you’d like to brush up, this lecture will give you the basics of neural networks and this one will explain how these principles are applied in modern deep learning systems. A working knowledge of Pytorch is required to understand the programming examples, but these can also be sa
When I tell people I work on Google Search, I’m sometimes asked, "Is there any work left to be done?" The short answer is an emphatic “Yes!” There are countless challenges we're trying to solve so Google Search works better for you. Today, we’re sharing how we're addressing one many of us can identify with: having to type out many queries and perform many searches to get the answer you need. Take
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。先端技術の調査報告や深層学習まわりのエンジニアリングを担当している、テクノロジーインテリジェンス室の清水です。 Yahoo!ニュースでは、「記事との関連性の低いコメント」や「過度な批判や誹謗中傷、不快な内容を含むコメント」を表示させなくする仕組みを導入しています。今回の記事では、Yahoo!ニュースの不適切コメント対策のために深層学習ベースの大規模モデルを導入した際、どのように事前学習を行い、高性能な判定モデルの実現に繋げたか、概要をご紹介します。 不適切コメント対策とは Yahoo!ニュースのコメント欄では日々、数十万件の投稿が寄せられており、その大半は問題がないものですが、中には残念ながら「記事との関連性の低いコメ
Since its inception in "Attention Is All You Need", transformer architecture has led to revolutionary advancements in NLP. The attention layer within the transformer admits a sequence of input tokens $X$ and makes them interact through pairwise similarities computed as softmax$(XQK^\top X^\top)$, where $(K,Q)$ are the trainable key-query parameters. In this work, we establish a formal equivalence
みなさんは、Transformerについてどのようなイメージを持っていますか？ 最近は、BERT、GPTなどのTransformerベースのモデルが目を見張るような成果をだしているので、それらを想像する方が多いかと思います。これらはTransformerの発展形ですが、Transformerの起源のほう、即ちAttentionを想像された方もいるかもしれません。この記事で説明していくのは、Transformerの起源のAttention機構についてです。BERTやGPTについては、別の記事で解説できればと思います。 Transformerの論文タイトル「Attention Is All You Need」からTransformerの成功はAttention機構にあることが推測できると思いますが、その通りで、Attention機構なしにTransformerを語るのは難しいです。本記事では、
この記事についてこの記事では、Vision Transformer[1]登場以降のTransformer x Computer Visionの研究で、興味深い研究や洞察について述べていきます。この記事のテーマは以下の4つです。 • Transformerの急速な拡大と、その理由 • TransformerとCNNの視野や挙動の違い • TransformerにSelf-Attentionは必須なのか？ • Vision Transformerの弱点と改善の方向性 また、この記事のまとめとしての私の見解は、以下の通りです。 1. Vison Transformer以来、Transformerはその適用範囲を急速に拡大した。その理由として、色々なデータに適用できること、異なるモーダル間で相関を取りやすいことがあると個人的に考えている。 2. TransformerとCNNの大きな違いとして視野
How to get meaning from text with language model BERT | AI Explained
In this video, we give a step-by-step walkthrough of self-attention, the mechanism powering the deep learning model BERT, and other state-of-the-art transformer models for natural language processing (NLP). More on attention and BERT: https://bit.ly/38vpOyW How to solve a text classification problem with BERT with this tutorial: https://bit.ly/2Ij6tGa 0:00 Introduction of NLP 0:39 Text tokenizati
概要 先日、huggingfeceのtransformersで日本語学習済BERTが公式に使えるようになりました。 https://github.com/huggingface/transformers おはようござえます、日本の友達 Hello, Friends from Japan 🇯🇵! Thanks to @NlpTohoku, we now have a state-of-the-art Japanese language model in Transformers, bert-base-japanese. Can you guess what the model outputs in the masked LM task below? pic.twitter.com/XIBUu7wrex — Hugging Face (@huggingface) December 13,
AIによる画像・動画生成や自然言語処理など、ディープラーニングがより身近に まずは深層学習（ディープラーニング）の概要から。深層学習とは、大量のデータを機械に学習させることで、画像、動画、文章などの複雑なデータを解析できるようになる機械学習モデルだ。例えば「猫」や「犬」などのラベルがついた画像を大量に読み込ませる（学習させる）と、任意の画像で「猫」や「犬」と識別できるようになる。 この画像にあるのは猫か犬か？ 画像ではなく文章を分析する際は、自然言語処理と呼ばれる。人間の言葉や文章をコンピュータに理解させる時に必要になる。この場合、大量の文章を入力したLanguageモデルから意味を学習していく。 自然言語処理はWeb検索、翻訳、音声アシスタントなど身近なところで活用されている。Gmailのスマホアプリを使っているなら見覚えがあるかもしれないが、メールで簡単な返信の候補を生成することもでき
目次 本記事の動機 時系列解析とTransformerに対する先行研究のまとめ 複数時系列データの解析に対する課題を解決した改善モデル iTransformer iTransformerモデルの実装 実装環境と学習データ データの前処理 iTransformerモデル実装と最適パラメータ探索 数値実験と考察 本記事のまとめ 参考文献 本記事の動機 近年ではビックデータの利活用が活発になっており、データを蓄積・分析することが多くなっています。その際、機械学習やAIの実装をしてデータの分析を行う場合、データ数が鍵となっています。しかしながら、データの項目数が多いと、各項目のデータ数が少なくなる可能性があります。例えば、ある市場で売られている品種が複数あった場合、受注数の差だけではなく、受注のデータ数にも差が生じ、結果的に分析に使用可能なデータ数が少なくなり、分析の精度が低下することが考えられま
自然言語処理の技術紹介：危険すぎる（GPT-2）モデルと関連する技術を試してみた話（簡単な翻訳、ニュースの内容とFX動きの予測） - GMOインターネットグループ グループ研究開発本部
2019.12.24 自然言語処理の技術紹介：危険すぎる（GPT-2）モデルと関連する技術を試してみた話（簡単な翻訳、ニュースの内容とFX動きの予測） こんにちは。次世代システム研究室のK.S.（女性、外国人）です。 そろそろ今年（2019年）も終わるということで、今年、盛り上がっていた人工知能（AI）の一部の関連技術をふりかえってみました。自分の勝手な印象ですが、今年の気になった技術だと、自然言語処理といったAIの一つです。特に、びっくり技術ニュースといえば、危険すぎると言われた自動文章作成モデルGPT-2だろうなと思いました。ということで、今回のブログでは、GPT-2についての勉強と簡単な実装を共有させて頂きたいと思います。 遡ってみると、2019年2月に、OpenAIといった有名な人工知能（AI）を研究する非営利団体がテキスト生成などの大規模な自然言語モデル（GPT-2）を発表しまし
Image GPT
We find that, just as a large transformer model trained on language can generate coherent text, the same exact model trained on pixel sequences can generate coherent image completions and samples. By establishing a correlation between sample quality and image classification accuracy, we show that our best generative model also contains features competitive with top convolutional nets in the unsupe
Attention Is Off By One
By Evan Miller July 24, 2023 About which one cannot speak, one must pass over in silence. –Wittgenstein Do you see the off-by-one error in this formula? \[ \textrm{Attention}(Q, K, V) = \textrm{softmax}\left(\frac{QK^T}{\sqrt{d}}\right)V \] The attention formula is the central equation of modern AI, but there’s a bug in it that has been driving me nuts the last week. I tried writing a serious-look
東京大学松尾豊研究室のメンバー中心に、講義を行っている深層強化学習 スプリングセミナー2023の第6回目の前半の講義である「基盤モデルとロボティクス」の講義資料を改変した資料です。（講義は2023/3/3に実施） 本講義では、最近話題の『ChatGPT』等にも使用されている『基盤モデルやTransformer』についてお話し、基盤モデルをロボティクスへの活用事例や今後の展開についてもお話ししました。 演習（ハンズオン）ではGPT2,CLIP,Whisperを取り扱っています。 本講義資料は、深層強化学習 スプリングセミナー2023の第6回目の前半60分の講義資料がベースになっています. https://deeplearning.jp/drl-course-2023sp/ 本講義の到達目標： ・基盤モデルやTransformerの概要を理解する ・基盤モデルとロボティクスの研究事例を把握し、
My engineering friends often ask me: deep learning on graphs sounds great, but are there any real applications? While Graph Neural Networks are used in recommendation systems at Pinterest, Alibaba and Twitter, a more subtle success story is the Transformer architecture, which has taken the NLP world by storm. Through this post, I want to establish a link between Graph Neural Networks (GNNs) and Tr
キカガク機械学習講師の船蔵颯です！本記事では、深層学習の基盤技術ともいえる Transformer について解説します。 ChatGPT が発表され、言語モデル GPT をベースとしたサービスが非常に身近なものとなってきています。多くの大規模言語モデルがその中核として採用している機構が Transformer です。また、BERT (自然言語処理) や Vision Transformer (画像処理) 、wav2vec 2.0 (音声処理) など、ChatGPT の興隆以前から Transformer は多方面で利用されています。 そのため、Transformer は深層学習の必須知識といえる状況になってきています。本記事では、Transformer の仕組みをポイントを絞ってわかりやすく解説します。 Transformer による革命 Transformer はニューラルネットワークの
GitHub - ddangelov/Top2Vec: Top2Vec learns jointly embedded topic, document and word vectors.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Transformer モデルは、文章に含まれる単語のように、 連続したデータの関係を追跡することによって、文脈ひいては意味を学習するニューラルネットワークです。 来るべき AI のビッグウェーブに乗りたいなら、Transformer は押さえておくべきです。と言っても、テレビでよく見る変形するおもちゃのロボットでも、電柱の上に取り付けられたごみ箱大の容器でもありません。 Transformer モデルとは？ Transformer モデルは、この文章に含まれる単語のように、連続したデータの関係を追跡することによって、文脈ひいては意味を学習するニューラルネットワークです。 Transformer モデルは、進化する一連の数学的手法 (アテンションまたはセルフアテンションと呼ばれます) を適用して、同じ系内にある隔たったデータ要素間の微妙な相互影響や相互依存関係を見つけます。 Google
ゼロからのTransformer
もはや機械学習の汎用アーキテクチャと化したTransformerですが、ゼロから丁寧に解説をしている英文記事を発見したので、DeepL、みらい翻訳の力も借りつつ日本語に翻訳してみました。 元記事: Brandon Rohrer, Transformers from Scratch, https://e2eml.school/transformers.html なお、元記事はCC0のパブリック・ドメインです。この翻訳記事も元記事に敬意を表してCC0とします。 私は数年間、Transformerへの深入りを先延ばしにしてきました。最終的には、Transformerの特徴を知らないことへの不快感が、私にとってあまりにも大きくなりました。これはその深入りです。 Transformerは、2017年の論文で、あるシンボル列を別のシンボル列に変換する「配列変換」の道具として導入されました。最も有名な例
第3回は、Transformerモデルのアーキテクチャーやデコーダーの処理内容、RLHFを使ったお作法の訓練を中心に解説します。 はじめに 前回は、大規模言語モデル(LLC)の概要のついて説明しました。今回は、GPTシリーズなどの大規模言語モデルが採用している「Transformer」という自然言語処理について解説します。 RNNやLSTMなどの回帰型ニューラルネットワークが中心だったところに彗星のように現れたTransformerは、どのような仕組みでGPTのような言語モデルを生み出したのでしょうか。 回帰型ニューラルネットワーク 私が2017年にThink ITの連載「ビジネスに活用するためのAIを学ぶ」を書いていた頃は、自然言語処理(NLP)と言えば次の2つが主流でした。拙書『エンジニアなら知っておきたいAIのキホン』にも、この2つの技術解説をしています。 RNN(Recurrent
3つの要点 ✔️ Transformerの改良版"Efficient Transformer"について ✔️ Efficient Transformerの大まかな区分について ✔️ Efficient Transformerの関連情報について Efficient Transformers: A Survey written by Yi Tay, Mostafa Dehghani, Dara Bahri, Donald Metzler (Submitted on 14 Sep 2020 (v1), last revised 16 Sep 2020 (this version, v2)) Comments: Accepted at arXiv Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI); Computa
GitHub - PKSHATechnology-Research/camphr: Camphr - NLP libary for creating pipeline components
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ABEJA GPTモデルにおけるアーキテクチャの工夫 - ABEJA Tech Blog
プーリング層だけでも充分！？衝撃の画像認識モデルMetaFormerを解説！ - Qiita
GitHub - openai/transformer-debugger
Azure OpenAI Service モデル - Azure OpenAI
GPT-4 Technical Report
BLOG | Panasonic AI | パナソニックの人工知能研究開発 - Panasonic
【SIGNATE】BERTで医療論文を2値分類する(PyTorch BERT)
Transformers from scratch | peterbloem.nl
MUM: A new AI milestone for understanding information
大規模深層学習モデルによるYahoo!ニュース「不適切コメント」対策
LaMDA: our breakthrough conversation technology
Transformers as Support Vector Machines
【詳説】Attention機構の起源から学ぶTransformer
Computer Vision x Trasformerの最近の動向と見解｜akiraTOSEI
huggingface/transformers の日本語BERTで文書分類器を作成する - Qiita
「Transformer」の仕組み──AIによる画像・動画生成や自然言語処理で話題の深層学習モデルを理解する
複数時系列データ × Transformerの実装と評価
Foundation Model and Robotics | 基盤モデルとロボティクス
Transformers are Graph Neural Networks
【入門】深層学習の革命児！Transformer を今こそ理解しよう
Transformer モデルとは? | NVIDIA
大規模言語モデルの自然言語処理「Transformer」モデルの仕組み
Transformerの成長は止まらない！Transformerの改善に関する研究のまとめ Part1