自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす

自宅で動くChatGPTと噂のFlexGenを試す shi3zさんが興奮して動かしていたFlexGen 関係する記事は以下 ツヨツヨGPUが無いと動かないと思っていたのですが、タイムラインでミクミンPさんが、RTX3060でFlexGenを動かしているツイートを発見。 「RTX3060なら自分も持っている！」ということで、試してみることにしました。 追記： 私がこの記事で動かしているのは小さいモデルです。とりあえずお試しで動かしただけで、shi3zさんが動かしているモデルとは異なります。 性能の参考にする記事ではないので、ご承知ください。より大きいサイズのモデルの使用に関しては、FlexGenの公式リポジトリを参照ください。私も今後試したら追記していきます（現状、私の環境では動かせてないです）。 FlexGenをDockerで動かす 結果的には、Dockerを使うことで簡単に動かせました。

[sasasin_net]

「ゲームやらん採掘やらん機械学習やらんGPUなんて映ればイんだよ」と思っていましたが、ちょっと強いGPU欲しいかも

[anigoka]

あやつり左近はともかく、一家に一台原発時代はやってこなかったけど（むしろ来なくて良かった）一家に1台、いや一人にAIアシ1台時代には着実に近づいてる（既にsiriとかも居るけど

[ranobe]

3060 12GBがぼちぼち売れているのはいろんな理由があるのね。4060tiが8GBまでらしいので、3060 12GBは半年ぐらいは底堅そう

[cartman0]

スペックデカすぎて試せんな/ここまでやってngramレベルの人工無能初期って悲しい

[rmatsuoka]

(いつの間にか「繰りオウム」が「操りオウム」に変わってる…)

[yarumato]

“RTX3060(12GB)で、Dockerを使うことで簡単に動かせました。日本語も使えますが一番小さいモデルだったので頭がよくない。<-本体メモリ256GBが必要なところ32GBしか使っていない。結果が悲惨なのは当然だ。”

[tyhe]

DDR5が4枚挿しにするとクロック落ちてしまうので4枚挿しに対応したRyzen待ち……

[T-norf]

チャットにこだわらなければ、（日本語特化も含め）学習済みモデルは多数配布されてて、Huggingface Transformersというフレームワークで使える。ってとこまでは調べてた。要求スペックが下がるインパクト大きいよ

[puhu208n]

GPUスペックそのものも欲しいが、VRAM容量がとにかく欲しいよな。「RTX3060(48bit DDR3) 64GB」みたいなGPUカードは作れないんだろうか? NVLinkとDDRを翻訳するFPGAとかでなんとかならんのか?

[EzoWolf]

"一番小さいモデルだったので結構アホですが" ELIZA（イライザ）を讃えよ

[mkusunok]

ふた昔前の人工無能と何が違うのか分からんけど

[urtz]

幼児もそうだが、言語習得の第一段階はオウム返しなのね。つまりシャドーイングは大事ということか🧐

[estragon]

“Stable Diffusionもそうですが、やはりローカルでも動くというのは「自分のものになった！」という妙な安心感があって良いですね”、”日本語も使えます（アホですが）”、”メモリ 32GB”

[razokulover]

かわいい

[pwatermark]

日本語が完全にアホだけどモデルのせいだな、あとは要求VRAMを4GBくらいまで落とせたら、ユーザ数爆発するね

[ET777]

おうむ返しかわいい🦜

[misshiki]

“自宅PCでChatGPT的なAIチャットが動くのは驚きですね。 Stable Diffusionもそうですが、やはりローカルでも動くというのは「自分のものになった！」という妙な安心感があって良い”

[programmablekinoko]

GPUが安く手に入ったら考える…

[shodai]

人工無能っぽい

[natu3kan]

AI系は処理速度だけでなく潤沢にVRAMないと満足に動かないから、古いビデオカードだと動作が遅い、そもそもメモリ不足で動かないのあるよな。

[hunglysheep1]

意外と早い。5〜10年たったら普通になりそう

[solidstatesociety]

いよいよ親の原資に依存していくなぁ

[kei_1010]

うーーん、まだまだ微妙だなぁ。shi3z のマシン(メモリ256GB, VRAM48GB)でもBLOOMの175bはめちゃ遅そう。しかもBLOOMは日本語にだけ非対応という。。。まだしばらくはbing ai弄りながら静観しとこ。

[tpircs]

AIの日本語対話、これGPU無しのWindowsマシンで普通に動いた（https://github.com/nttcslab/japanese-dialog-transformers/blob/main/README-jp.md）。WSLでも直接でもどちらでも。そこそこ面白い感じだった。

[youichirou]

RTX3060の12GBで5万円前後か。

[jintrick]

3060はつよつよGPUじゃないそうな。

[pechiyon]

自宅で動かすことができるけれども、資源が遊休すぎると思うのよね。都会ど真ん中で車持つみたいな感じで、便利だけどコスパ悪いみたいな。その辺はクラウドでよしなにしちゃいたいよなと思うも、それはそれでね…

[toaruR]

日本語苦手なのかー(ノ∀`)

[zgmf-x20a]

私もやってみよう。

[buhoho]

私はエッチな絵とか文章をAI生成したいだけで、GPUとかPCが欲しいわけじゃないんよ

[kenzy_n]

なかなか先は長い