完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z

Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ

[srng]

日本語はまだまだ全然、チャット向けのチューニングがされていないので英語もなんか微妙という感じっぽいけど、民主化の事実は強い。既存のサービスが制約をかけていた部分から自由になる

[BlueSkyDetector]

LLaMAは研究者向けの限定リリースなので、ビジネスとかで実用するにはApache 2.0ライセンスのRWKVを使えるのは大きいかと。 / Alpaca のモデルも研究用途限定 / 3GB RAM 使用に抑えるには 'cuda fp16i8 *0+ -> cpu fp32 *1' が必要だった。

[toaruR]

日本語入力の出力だけみると、いまいちやなぁ(ノ∀`)

[hhungry]

AlpacaはM2どころかiPhoneでもう動いてるじゃん／https://twitter.com/niw/status/1638726532821848068?s=20

[kappaseijin]

“MacBookPro M2 MAX(32GB)でやると、一単語を生成するのに2分くらいかかるのでGPUはやはりあった方が良さそう。”

[shunkeen]

“huggingfaceで試したところ、かなりのスピードで動作する　騒ごうぜ!”／Memeplexみたいに、みんなが手軽に触れるようにしないと騒いでくれない説。

[cpw]

hugging faceで試した感じ精度がいまいちな感じがするけど時間の問題なんだろうか。

[puruhime]

A6000(約70万) * 2は誤家庭すぎて参考にならないね

[diet55]

「ちなみにMacBookPro M2 MAX(32GB)でやると、一単語を生成するのに2分くらいかかるのでGPUはやはりあった方が良さそう。」 「huggingfaceで試したところ、かなりのスピードで動作する」

[misshiki]

“GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。そのなもRWKV”

[door-s-dev]

ご家庭のパソコンではないやろwでもこれならcolaboratoryとかでも動きそう

[onesplat]

ChatGPT4と同じくらいの精度が出るようになったら呼んでね

[plank]

我が家のM2 Mac miniでは歯が立たなそうだな・・・

[finefinethankyou]

"MacBookPro M2 MAX(32GB)でやると、一単語を生成するのに2分くらいかかる"

[straychef]

3GBなんてないけど

[saikyo_tongaricorn]

勝手にChatGPTでイキッて勝手にChatGPT終了のお知らせって動画上げてほんまお忙しいこって

[touhousintyaku]

大規模言語モデルが中規模な感じになってきてて進展がすごいな

[mkusunok]

こーゆーの触り始めると、もーちょっと超弩級のMacが欲しくなるな

[sharaku3eyes]

む

[santo]

様子見

[uunfo]

chat.pyってチャッピー

[puhu208n]

トップコメに上がってるllama.cppはiPhoneどころかGPUの無いCPU環境でも実用的速度で動くのでゲームエンドなんだよな(実用的精度とは言ってない)

[rax_2]

"すでにLoraまである"吹いたw帰宅したら試すねw

[buhoho]

民主化の動きが早い！

[esper]

うおおお

[utsuidai]

マジかー。マジなのかー。

[shodai]

爆発的に進むなぁ