LLM開発のために200万円以上無駄にしたエンジニアの話｜sonodaatom

はじめにこんにちは、Lightblueの園田です。 四畳半のオフィスで70億パラメータのLLMを事前学習した話ではエンジニアの樋口さんがlightblue/japanese-mpt-7bの開発・性能評価について報告しました。 本記事では、四畳半のオフィスで70億パラメータのLLMを事前学習した話で語りきれなかったしくじりも含めた開発裏話について紹介します。 LLM開発に必要なリソース一般的に、LLMの開発にはA100やH100といった最新の高性能のGPUが使われます。 本日公開されたLlama2の70Bモデルでは、A100を1,720,320時間分利用し学習されています。 このようなリソースはGPUボードの費用だけでなく、電気代も高額になることから、LLMの開発には資本力が必要とされています。 H100はパブリッククラウドでほとんど提供されていないことから、LightblueでもA100を

[misshiki]

“四畳半のオフィスで70億パラメータのLLMを事前学習した話で語りきれなかったしくじりも含めた開発裏話について紹介”

[tattyu]

エンジニアリングと関係無い所で苦労するのマジでLLMって面白く無いなーって思う。自分達でチューニングしたのとGPT4とどっちが性能良いの？みたいになるの虚しくならんか。

[eagleyama]

センチメンタルなタイトルうまいけど、クラウドだから場所は関係ないね