NTT、大規模言語モデルを使った視覚読解技術を実現、図表などを含む「文書」を読めるAIに 
LLMのファインチューニングを他手法との違いから理解する（Part 1） | データアナリティクスラボ
JOURNALについて データアナリティクスラボ株式会社では、ITやデータサイエンスに関する技術の研究活動を行っています。このブログでは、研究活動で得られた知見や検証結果についての情報を発信します。 本ブログで提供される情報は、可能な限り正確かつ最新の情報であるように努めますが、必ずしもその正確性を保証することはできません。場合によっては誤情報が含まれたり、最新の情報ではない可能性もあります。予めご了承いただけますようお願い申し上げます。 はじめに データソリューション事業部の宮澤です。 2024年に入って2ヶ月が経ちましたが生成AIの勢いは止まらず、日本国内でもGENIAC1をはじめとして、生成AIの開発と活用が加速しているように感じます。最近では、ビジネスでの実用を視野に入れ、既存のLLMを自社ドメインや特定の目的にカスタマイズする動きが活発になってきました。LLMのカスタマイズ手法と
Emerging Architectures for LLM Applications | Andreessen Horowitz
There are many different ways to build with LLMs, including training models from scratch, fine-tuning open-source models, or using hosted APIs. The stack we’re showing here is based on in-context learning, which is the design pattern we’ve seen the majority of developers start with (and is only possible now with foundation models). The next section gives a brief explanation of this pattern; experi
ABCIでMPT-7Bのファインチューニングを試す｜shi3z
前提知識MPT-7Bは最近発表された商用利用可能な大規模言語モデルで、LLaMAに匹敵する性能を持っていると言われています。 ABCIは経産省が管轄する日本在住者なら誰でも安価に使えるスーパーコンピュータです。 (ただし登録がいろいろ大変なので法人が前提です/利用料は最低20万円から) 対象読者行間が読める人。本文が間違っていても自分でソースコードに手を加えて修正できるスキルがある人。ABCIを使えるポジションの人。 僕も人間なのでミスはよくありますし、備忘録とこれからやろうとする人のために書いています。質問は受け付けません(自分でなんとかしてください)。 準備思ったより大変だったのでメモ まず、大前提として自宅のA6000x2のマシンでできるかと思ったら、ダメだった(12:57更新。ウソ:A6000x2でちゃんとできました)。 まず、MPTはTransformerなのでRWKVと違い、V
BLOOMはここ10年で最も重要なAIモデルだ | AI専門ニュースメディア AINOW
著者のAlberto Romero氏はスペイン在住のAI技術批評家で、同氏の鋭い洞察に満ちた記事のいくつかはAINOWでも紹介して来ました。同氏が2022年6月末にMediumに投稿した記事『BLOOMはここ10年で最も重要なAIモデルだ』では、大規模言語モデルBLOOMの開発経緯とその革新性が解説されています。 2022年7月12日に正式リリースされた言語モデルBLOOM（BigScience Language Open-science Open-access Multilingualの略称）は、アーキテクチャから見ればGPT-3と同じTransformerベースであり、パラメータ数は1750億のGPT-3より少し多い1760億である月並みなモデルです。 BLOOMの革新性を明らかにするために、まずRomero氏はGTP-3のような現代を代表する大規模言語モデルに共通する特徴をまとめます
完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z
Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
⼤規模⾔語モデルの拡張（RAG）が 終わったかも知れない件について
GitHub - ray-project/llm-numbers: Numbers every LLM developer should know
Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable LLMs | Databricks