作るだけなら簡単なLLMを“より優れたもの”にするには 「Pretraining」「Fine-Tuning」「Evaluation & Analysis」構築のポイント

オープンLLMの開発をリードする現場の視点から、開発の実情や直面する課題について発表したのは、Stability AI Japan株式会社の秋葉拓哉氏。Weights & Biasesのユーザーカンファレンス「W＆Bカンファレンス」で、LLM開発のポイントを紹介しました。全2記事。前半は、より優れたLLMを作るために必要なこと。前回はこちら。 より優れたLLMを作るために必要なこと 秋葉拓哉氏：めでたくFine-Tuningもできた。これけっこう、びっくりするかもしれません。コードはさすがにゼロとはいかないと思いますが、ほとんど書かずに実はLLMは作れます。 「さすがにこんなんじゃゴミみたいなモデルしかできないだろう」と思われるかもしれませんが、おそらく余計なことをしなければこれだけでも、まあまあそれっぽいLLMにはなるかなと思います。 なので、ちょっと、先ほどの鈴木先生（鈴木潤氏）の話と

[misshiki]

“パラメーターを増やしても計算量を増加させない仕組み「Mixture of Experts」”

[gfx]

前編・後編合わせてとてもよかった。

[tohima]

“ChatGPT、GPT-4にアノテーションをさせるというアプローチですね”