Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ

Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。 [2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits https://arxiv.org/abs/2402.17764 従来のモデルであれば入力に対して「0.2961」などのウェイトをかけ算してから足し引きする必要がありましたが、「-1」「0」「1」の3値のみであればかけ算が不要になり、全ての計算を足し算で行えるようになります。 そのため、同じ性能を出すのに必要なコストが通常の大規模言語モデルに対して激減するとのこと。なお、それぞれのパラメーターが「-1」「0」「1」という3つの値を取るためlog[2](3)の値より「1.

[Sampo]

3進法1桁分の情報量はトリット（trit = trinary digit）っていうんですって。1トリットの大規模言語モデルって言えるわけね

[rti7743]

なんか昔のゲーム開発みたいだな。掛け算は重いから足し算で代用しようって所が。浮動小数は重いから固定小数だ！とライブラリ作っていた頃が懐かしい。

[rryu]

なんで小数かというと逆伝播のために微分可能な計算でなければならなかったからだが、１、0、-1からの逆変換ってどうやってやるのだろう。

[misshiki]

“今回の手法を利用することで行列演算に必要なかけ算の量を大幅に削減できるため、論文では「1bitの大規模言語モデル用の新たなハードウェア設計への扉を開く」と述べられています。 ”

[Sinraptor]

量子コンピュータと相性良かったりする？

[shodai]

“論文では「1bitの大規模言語モデル用の新たなハードウェア設計への扉を開く」と述べられています。”

[kyukyunyorituryo]

既存の学習結果を変換できるわけじゃないのか。

[toaruR]

スピード感よ(*´д｀*)

[i-komo]

BNNは以前から研究されている話なのでそれ自体は特に目新しい話じゃないにしても、これを適用することでモデルがかなり扱いやすくなったことは確か。GPU環境がないローカルでサクサク回答してくれる日は近いのか？