速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）

2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c

[MIZ]

“巨大なクラウド基盤などに頼らなくても学習済みの生成AIが動かせることになるので、スマホや各種組み込み機器でChatGPTレベルのAIを単独で動作できる可能性が出てくる”

[shunkeen]

“BNNの説明が理解できていれば、1.58ビットトランスフォーマーモデルを理解するのは簡単”／やっぱり前提知識がある人は理解の深さが違うんだなぁ。

[RySa]

機械学習は一般的に学習に計算コストが掛かって推論は低コストなのでこれはこれで進歩ではあるがゲームチェンジャーでは無い。とは言え機械学習ブームで金回りが良い内に研究をどんどん進めて欲しい。

[sugawara1991]

エンコードのコストは重いままでもデコードが軽くなることが有用なのは既存の技術で何度も見てきた。ハードウェアの利点は依然としてあるのでGPUや組込デバイスに1.58bit処理が統合されたりしていくと思う

[ntstn]

学習はGPUで推論は専用加算機とかそんな感じに棲み分けるのかしら？

[craftone]

やっぱり学習中は高精度なのか。そうするとより大きなモデルを学習するためにはGPUがもっと必要になる・・？

[stealthinu]

BNN->BitNet->1-bit LLMの流れなのでBNNを理解すると話が早いと。まじこれだけの違いで実現されてるの！？すげえ。

[misshiki]

“そもももこれは何なのか？LLMのモデルで中心的役割を果しているトランスフォーマー（Transformer）の、入力および出力の埋め込み変換行列 W の数値の精度を大幅に削減（１ビット！化）して小型化したもの。”

[honma200]

モデルはクラウドで作って推測はローカルで出来ちゃうとかかしら

[yarumato]

“何が嬉しいのか？　推論用途ではメモリ容量で十数分の１に小型化できると同時に、複雑で消費電力の多い浮動小数点演算回路＝GPUを大幅に削減できる。スマホや組み込み機器でChatGPTレベルのAIを単独動作の可能性”

[onesplat]

“ある意味単純な仕組みで画期的な効果が生み出せることに驚かされる” お前らいつもこんなこと言ってるな

[mr_mayama]

今Intelが進めてる次期Core uUtra、推論に特化ささて設計を見直した方がいいんじゃないか？

[samu_i]

“「あらゆる機械がしゃべりだす」時代が、ぐっと近づいたのである。”　そのドラえもん、物まねマシンでしかないの、なんかなぁ

[colonoe]

実際に動いてるものが出てきてないのでなんとも言えない

[OkadaHiroshi]

さらに大きなモデルが出てきて、次の世代のGPUにこの3値演算命令が実績されれ、ローエンドや内蔵GPUの価値が高まると思う。インテルやAMDの売上も上がるかも。

[natu3kan]

ローカルでAIできるサービスは老人の話し相手とか見守りロボット作りやすいのでかいよな。高齢者になると急な心筋梗塞とか脳溢血で倒れても、家族いなくて発見が遅れて孤独死とかあるからなあ。

[mohno]

全然知らないけど、乗除算が要らないだけでGPUを使ってないわけじゃないんだよね？BitNet専用プロセッサ開発競争が始まるのかな。

[kei_1010]

「一方、推論用のGPUへのニーズが相対的には減るので、NVIDIA社のようなGPUメーカーのビジネスにとっては逆風となりかねない」だよね？そうだよね？空売りした俺大勝利だよね？ね？(株をやったらあかん人)

[urtz]

やはりMSがタダでこれを公開したとは思えない