既存日本語LLMをBitNetで置き換えて実行してみた｜はち

はじめに昨夜からBitNetという1bit量子化LLMが話題になっていました。 簡単な概要としては、 既存のLLMが１パラメータをFP16やBF16などのfloat型で扱っているものを、１パラメータで{-1, 0, 1}しか扱わない様にした。 計算に使う情報量を削ることで、処理速度の向上、メモリの節約が叶う。 3B params以上ではベンチマークスコアの平均で同サイズのLlamaを上回る結果となった。（量子化手法としては初） ということだと思います。 これは元々、今回の論文と同チームによって提案された"BitNet: Scaling 1-bit Transformers for Large Language Models"という論文を拡張したものです。この時は１パラメータで{-1, 1}として扱ってけれど、{-1, 0, 1}としたらうまくいったというのが今回の"The Era of 1

[misshiki]

“結論を先に述べますが、ただ置き換えただけだと使い物にならなかったです。やはり事前学習から行う量子化手法なんだと思います。”

[otakumesi]

単純な置換ならそうなるだろうなとは思うけれど、何らかのデータセットで追加事前学習してみたどうなるだろう

[kei_1010]

https://github.com/Beomi/BitNet-Transformers/ を使わない理由を書いて欲しい。

[shunkeen]

1(.58)ビット量子化するのを前提に学習時にStraight-Through EstimatorとかRoundClipうんたらを使って学習しないと、量子化して推論したときに結果が振るわない的な話なのかな。手法の一部だけ取り入れても壊れるだけみたいな。

[sato-gc]

早い。個人的には0を含む3値であることが重要であるように思うので、これだけでは実力はわからんよね