驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z

昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装

[mohno]

「いくつか実装を試したが、一番手っ取り早く動かせたのはこれだった」←このフットワークの軽さは凄いと思う。「論文著者はlog2(3)で1.58ビットという主張をしている」←乗算を使わないことが重要なのか。

[tattyu]

-1があるのに1bitとかバイナリーって言ってるの気持ち悪過ぎる。/莫大なパラメータ数があれば確かに1パラメータ辺りの重み付けはかなり小さくなりそう。この位のサイズなら小さなデバイスに入れて動かせそう。

[sek_165]

3値論理（Ternary）を敢えて使わなかったのは名前のインパクト重視だからだろうか。

[Palantir]

すごく古い教科書知識を引っ張り出すと、1bitは人間の定義で2状態にしてるけど、計算上は3状態の方が計算速度がはやいって記憶がある。BinaryじゃなくてTrいnaryになるの？

[hinonono]

1.58ビットを1ビットと言い張るのはちょっと…/使用メモリも1/3前後と。数字的な性能は跳ね上がるな/新ハードが生まれても並列処理の得意なGPUに近い構造で、浮動小数点よりも整数演算装置になるって程度の違いっしょ

[untanman]

この1ビットは平衡三進法かな。 https://ja.wikipedia.org/wiki/%E4%B8%89%E9%80%B2%E6%B3%95#%E5%B9%B3%E8%A1%A1%E4%B8%89%E9%80%B2%E6%B3%95 "「おそらく、あらゆる記数法の中で最も美しい」と言う者もいる"

[shields-pikes]

BitじゃなくてTrit？　性能に頭打ちが無ければ、おそらく今後の機械学習ユニットは3値処理する素子で構築されたチップを積むようになるし、トランジスタベースより量子コンピュータの方が相性良さそうな気がしている。

[toaruR]

ググったら、理科大がスパースターナリーニューラルネットワークAIチップとやらを作ってる(・ω・)

[circled]

クソ高NVIDIA GPUを研究で使わなくても良くなってきた雰囲気だけど、そうは言っても我々は今日もゲームのFPSを上げたいのです（というグラボ需要）

[hobbiel55]

NVIDIA株が下落するな。日経平均のバブルも終わりか。

[nakamura-kenichi]

BitCoinにやられたと思ったら、AIにやられまくってるGPU市場も、これでようやく（入手的にも価格的にも）ゲーマーに優しくなるんやろかｗ。

[quwachy]

アナログからデジタルになった。アルトマンも1000兆円集める前で良かったね

[cnln]

すごい。

[mozukuyummy]

AI研究者が世界的に巨大なインパクトを持つ発表をする前に、AI関連の他社の株に空売りなり信用買なり入れたらインサイダーになるんだろうか、という下衆なことを考えてしまった。平衡三進法が美しいのは同意。

[eiki_okuma]

バイナリー云々とかどうでもよくない？これ、全世界で試作が始まってるだろうし、一ヶ月もしないうちにとんでもないことになるんじゃ……

[Rambutan]

3値論理が主流になるならNVIDIAもGPUに組み込むか専用プロセッサを開発するでしょ

[ch1248]

3値論理（Ternary）か

[roshi]

データベースの世界では三値論理はアンチパターンって言われるけどLLMの世界では活躍するの興味深い。

[kei_1010]

こういうのをサクッと試して本当かどうか判断できるのは、さすがだなぁ、と思う。すごい。/ とりまNVDA 空売りの注文を入れておいた。いくら何でも高すぎだし。

[mk173]

脳？

[bamch0h]

よかった、みんな同じ気持ちだったんだね。

[diabah_blue]

清水さんはフットワークが軽いなあ。

[miurahiroshi]

「浮動小数点よりも整数演算装置になるって程度」程度ではなく凄いこと。加算に比べると浮動小数点はかなり重い処理

[irimo]

ふ〜んわりとわかりました、ありがとうございます！軽くなるとか早くなるとかに期待はできそうですが、思考回路自体は変更ない感じですかね。

[medihen]

"今回の論文では、3B以上のパラメータサイズになるとBitNetは精度でも推論速度でもtransformerに勝つことがわかり、70Bモデルになるとその推論速度差は現行のハードウェアでさえ8.9倍になるという"

[ntstn]

NVIDIAショック！とかやめてよね？いろんな研究はしてるだろうけど。

[yamadar]

"BitNetはもともとすごい可能性を秘めていたのだが色々な人の直感に反していたためこれまで真に有望な技術とは考えられておらず追試があまりされていなかった"

[buhoho]

話は聞かせてもらった。シンギュラリティは近いぞ！🥸

[yarumato]

“わずか5時間でセットアップできた。なんかそれっぽいこと言ってる!　しかも小さいから当たり前なのだが推論は超速い。モデルサイズは200MB。GBじゃないよ。このサイズでこの解答、文法的に合ってるのが驚異的だ。”

[misshiki]

“モデルサイズは200MB。GBじゃないよ。僕は小さい言語モデルも大きい言語モデルもそこそこ触って来た方だと思うが、このサイズでこの解答は驚異的だ。”

[natumeuashi]

マイニングやAIでゲーマーに散々砂をかけてきた革ジャンが再びゲーマーに手の平クルーする未来

[nankichi]

ビジネスやるよりもコード書いていた方がいいお方なんだろう

[golotan]

これあくまで推論の話だからGPUが不要になるというのは誇大広告では/すみません嘘でした。ただ勾配計算時に浮動小数点数の乗算はなくなるの？ あとnormとかどうしてるんだろう

[Yagokoro]

結局、パラメーター数だけが正義って事っぽいなあ

[manjirou99]

ビット数とか薀蓄語りたい人の話はどうでも良い。実装からの検証でCPUとGPUの学習推論速度比が相当縮んだだろう事が重要だ、性能テストのスクリプトを流せ

[daishi_n]

実質的には2bit、3ステートなので1.5bit扱いか。1.5bitにデータを詰めるのは面倒なので2bit演算器で並列演算かな

[sqrt]

論文のタイトル「Addition Is All You Need」かなと思ったら「The Era of 1-bit LLMs」だった。新しいパワーワードだ。

[sirius_taka]

新しいグラボに買い換える理由が奪われてしまう

[aike]

新アーキテクチャのアクセラレータが必要になりそう→短期間でそんなものを設計できるのはジム・ケラーくらい→彼は今どこ？→テンストレント社でAIアクセラレータを開発してる、というところまで連想した。

[kazoo_oo]

3進数(ternary) って言っちゃダメなのかな。