ChatGPTで騒いでる場合じゃない。 AI研究者が｢FlexGen｣をゲームチェンジャーと呼ぶ理由

ChatGPTに世間が沸いている。 長年この分野を見てきた者としては｢ちょっと沸きすぎ｣のようにも見える。深層学習を使った会話ロボットは、何もChatGPTが初めてというわけではない。 ところが、世界中が驚かざるを得ないゲームチェンジャーが現れた。 その名も｢FlexGen｣と言う。2月15日に公開された。 特筆すべきは、FlexGenが、ChatGPTなどの大規模言語モデルを｢従来の100倍高速に動かせる｣上に、NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPUでその性能を使えるということだ。 つまり、大規模言語モデルを秋葉原で売っているパソコン程度で動かせる新しいフレームワークが登場したことになる。 このインパクトがどれほどすごいのかを解説してみよう。 目次： ｢Google翻訳｣と｢大規模言語モデル｣は技術的にかなり近い 会話AIの正体とは何か ChatGP

[T-miura]

https://zenn.dev/karaage0703/articles/de7045e9792623　からあげさんの使用記事。英語なら多少は賢い子になるんやろうか？

[BlueSkyDetector]

Intel Core Xなら比較的安くRAM 256GB積めるからいいかも。/ からあげさんの例はGPT-30Bだから、GPT-175Bならもっとすごいのでは。あと学習が英語に偏ってるのはモデルの方の話だよね。

[cartman0]

からあげさんの記事も読んだほうがええよ、現実はあれ

[sds-page]

めちゃくちゃ巨大な教師データを食わせるのが賢くなる秘訣だったんで、教師データの方が貧弱だとChatGPT並みの会話はできない

[yamada_k]

対話システムのこれまでの流れを知っているのに ChatGPT の飛躍を認めないのか。

[slkby]

"わずか16GBのメモリーしかないGPU" すごく軽くなってるのはわかるけどやっぱ重いなって。いったい人間の生体脳は現時点のGPUにして何GBの容量を楽々動かしているんだ。

[blueboy]

　からあげさんの記事が話題だが、本体メモリ 256GB が必要なところ、32GB しか使っていない。そりゃ、結果が悲惨なのは当然だろ。読むだけ無駄。 →　だから、はてブはダメなんだよ。／ ヨッピーの騒動も　https://x.gd/m0oR6

[jintrick]

これはこれで読み物として面白かった

[shunkeen]

現状の言語運用能力はChatGPTに比べるまでもないだろうけど、大規模言語モデルのオープンソース化と、それに伴う開発や研究の活発化は期待。BLOOMに最初に日本語データを食わせきった企業は日本国内の覇権を握りそう。

[T-norf]

ちょうど、会社で256Gメモリを積んだマシンが遊んでる。沼に踏み込むアラートが頭の中で点灯しまくってるけど、グラボもポチるか。ただ、言語モデルのサイズ（対数）と性能が比例との情報も多く、どこまで使えるかな

[arajin]

｢現在の会話AIは、自動翻訳の技術が拡張されたもの｣

[sdfg158]

“FlexGenはオープンソースライセンスの中ではもっとも制約が緩いライセンスの一つ｢Apache2.0ライセンス｣で配布”

[exciteB]

「Minecraftのようなゲームでも、生物が自動生成されたり村人と会話したり村人同士が喧嘩したりするのを仲裁したりできるようになるかもしれない。」／まだまだパンピーでは買えないスペック

[wktk_msum]

GPU16GBだがCPU(PC本体)メモリは256GBが条件と。ただ安価になって市場流通する端末数が増加できればネットワーク効果で更なる性能向上が見込めるね／"ゲーム内の村人と永遠に雑談できる"これはやりてぇww

[BHD_DELTA]

チャットFAQに向いていそう

[fujikiseki21]

早くもこっちか

[tenderfox]

個人所有できるのは凄いよねぇ。数年後、化けると思う

[urtz]

なんというか、カッコわりいなこの人。ChatGPTはただのチャットボットに過ぎないと言っておきながら、ChatGPTと同様なことができる事を目指すFlexGenが世の中を変える！って？過去のスタンスをどうしても曲げたくないらしい

[kei_1010]

bloomに日本のAI研究者がコミットしてない理由はなんなんだろ？いや、コミットしてるのに日本語に対応できなかったんだろうか？まあ、それでも1〜2年以内には英語版ChatGPT的なものがローカルで動かせそうなので楽しみ。

[spark7]

16GB云々はmini demoの容量だわな。ブコメもそんなの根拠にするとは… 大手のより高効率てのは事実なんだから、書き手の属性でサゲるのもどうかと思うぞ。

[wwestpp]

面白そう

[estragon]

“わずか16GBのメモリーのGPUを使用して、だ。 ただしトリックがある。GPUのメモリーは確かに16GBだが、CPU（PC本体）のメモリーを256GBも搭載しているマシンの話だ”

[rolophus]

もう毎週ゲームチェンジャー出てくるから、一段落したら起こしてくれ……

[nakag0711]

問題はプログラムより学習データのほうじゃないの?

[kazuph1986]

まあというか、FlexGenによってFlexGenのように今後も出てくる様々な手法によって大企業に大金を払う必要がどんどんなくなっていく未来が見えるようになったよってことだろうな。

[kastro-iyan]

ChatGPTに逆張りしてからいつも的が外れた記事書いてますね

[htnmiki]

おもしれー

[natu3kan]

膨大で良質な教師データ、潤沢なメモリ、高度な演算処理があれば実用的になるから、ローカルで楽しむってなったら、安価で高性能なハードの成長待ちよね。市販のパソコンだって数十年前のスパコンなみになった。

[iketo9igi]

「NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPU」←これじゃどうにもならんわな。みんなの環境が上がったらもっと高機能になるってそらそうだろうねって感じでしかない。

[chintaro3]

キモはハードじゃなくてデータの方にある

[versatile]

ほー・・・

[Insite]

ChatGPTがストレージ喰うからって時代遅れというわけでもないだろう。森羅万象を文脈込みでデジタルデータとして保存してるんだから、GPTはGPTの道を行けばよい。

[qpci32siekqd]

GPUのメモリ増量しないとなんも出来んのだが、なんとかならないものだろうか

[udukishin]

「何故かはわからないけどAIって計算量が一定以上に達すると層転移したかのように賢くなる」って話を聞いたあとだと眉唾に感じてしまう

[cloverstudioceo]

toC的なサービスでものすごい量のTokenを利用する場合はopenAPI高すぎだけどエンタープライズ系で利用される頻度がある程度低ければ自前でハード用意するよりもやすいし楽だよね。

[Cru]

“秋葉原で売っているパソコン程度” …ほお、と思ってググったらTesla T4、楽天のショップで94万円だよ？

[tetsu23]

本題関係ないけど、挿絵のアンドロイドっぽいのがいかにもAIで作ったイラストっぽくて。

[irimo]

半導体どんどん高騰していくので国産で取り掛かり始めるなら今だ

[yarumato]

“大規模言語モデル（LLM）による会話AIは、DeepLやGoogle翻訳など統計的機械翻訳（品詞まで分解すれば意味を解釈できると言われてたが不可能！という前提で、次に来そうな単語を確率的に予測だけ）の拡張だ。”

[dekasasaki]

さすがの内容だわ。ほんとすげー