生成AIでGPUがいらなくなる？ 業界を揺るがす「1ビットLLM」とは何か、識者に聞いた

ではそもそも“1bit”とは何が1bitなのか、どうして1bitになるとGPUが不要になるのか。LLMでGPUが不要になるとどんな世界が訪れるのか。オーダーメイドによるAIソリューション「カスタムAI」の開発・提供を行うLaboro.AIの椎橋徹夫CEOに聞いた。 プロフィール：椎橋徹夫 米国州立テキサス大学理学部卒業後、ボストンコンサルティンググループに参画。消費財や流通など多数のプロジェクトに参画した後、社内のデジタル部門の立ち上げに従事。その後、東大発AI系のスタートアップ企業に創業4人目のメンバーとして参画。AI事業部の立ち上げをリード。東京大学工学系研究科松尾豊研究室にて「産学連携の取り組み」「データサイエンス領域の教育」「企業連携の仕組みづくり」に従事。同時に東大発AIスタートアップの創業に参画。2016年にLaboro.AIを創業し、代表取締役CEOに就任。 ──まず、1bi

[tattyu]

結局重み付けの精度よりも量の方が重要だったって事だよな。益々金と情報がある所しか参入出来なくなるな。

[yarumato]

“LLM、つまり大規模言語モデルは、モデルが大きいと、計算量とメモリが大量に必要。モデルを圧縮する技術3つのうち量子化で、16bitとか32bitの情報量を減らす。0,1,-1の3値、2の1.58乗だから実際は1.58bit”

[ustam]

実はAIの演算に1000twhほど電力（日本の電力消費量と同等）を消費するようになる予測がされており洒落にならない状況なので、省エネ化が図られるのは超朗報。というか、とっとと導入しろ。

[kmiura]

これはオモロいな。絵画におけるポインティリズム

[memoryalpha]

“LLMの領域では、最近は32bitや16bitから、8bitや4bitといった低bit化がトレンドになってきていますが、それをさらに1bitまで減らしてしまおうというのが1bit LLMの考え方”

[AmaiSaeta]

「-1,0,+1で表現＝約1.58bit≒1bit」というのは、なんか詐欺っぽさを感じさせる表現なのが引っかかるが理解した。が、bitの数が実数というのはよく分からん。8bitに5パラメータ詰め込めるという話にはならないよね。

[maketexlsr]

https://qiita.com/kanekanekaneko/items/901ee2837401750dfdad

[hamamuratakuo]

実は学習は基本的にいままでと変わらないやり方が必要。学習にはGPUを使って、16bitとかの浮動小数点数演算をしないといけないんです。何も考えずに普通に学習したモデルを、あとから1bitに丸めてもあまりうまくいかない

[otihateten3510]

この流れね、NVIDIAの株価上昇にストップを付けるならこれかと言われてるね

[qpci32siekqd]

近似コンピューティング（Approximate Computing）と言えなくもないのかな

[star_123]

わかった気になれる説明だった

[gonai]

32bitのCPUを2つ積んで64bitと豪語するより納得感ある1bitだよ

[u_mid]

”0、1、-1の3値を使っています。3通りというのは、2の1.58乗に相当するんですよ。だから実際は1.58bitになります”　3値は1bitじゃ表現できないよね。1.58bitも1bitより2bitに近い。それは1bit LLMと言っていいのか。1.5bit LLMでは。

[sisc]

めちゃんこわかりやすかった

[toaruR]

『普通に学習したモデルを、あとから1bitに丸めてもあまりうまくいかない』

[xorzx]

ブクマカはGPU無いし1bitなのは仕方がないよね？

[cartman0]

なるほど。厳密には-1,0,+1の3通りだから2^1.58=3で1.58bitなのか

[hatebu_admin]

ブクマカだって1bit脳だぞ