ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能

OpenAIの対話型AI「ChatGPT」は史上最も急速な成長で「月間1億ユーザー」をわずか2カ月で達成するなど、大いに注目を集めています。それに伴い、GoogleがChatGPTのライバルとなる会話型AI「Bard」を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています。AIのディープラーニングトレーニングを最適化するオープンソースプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開しています。 Open-source replication of ChatGPT implementation process!

[cartman0]

やっぱローカル版ほしいのよな

[ku__ra__ge]

StableDiffusionみるに、オープンソース版の存在はやっぱ有用だよ

[programmablekinoko]

こいつに私の情報を食わせ続けたら私の複製品ができるのだろうか

[yellowfloyd]

100インスタンスぐらい動かして闘わせたい

[so-apps]

パラメータ数が3桁くらい少ないようだが、とりあえず勉強用という感じなのだろうか。

[qpci32siekqd]

依存すればするほどローカルで動くバックアップが欲しくなる。なるがパラメータ数小さいと役に立たないのも試すとわかるので、どこでも良いのでVRAM増し増しハードを出して欲しい。

[yamadar]

マイニングが終わったら次はAIでGPUの値上がりが加速しそう。マイニングと同じように「AIは環境に悪い」論も出てくるのかな？

[kei_1010]

ローカルでChatGPTが動くかのような記事だな。無駄な文章が多くて、結局どういう事なのかよくわからん。

[shunkeen]

パラメータ数を減らしても相転移と言わしめたほどの劇的な能力向上は保てるのだろうか。検証記事に期待。

[masahiko_of_joytoy]

ChatGPTのキモはパラメタよりも強化学習の部分だと思うので、そこがエコシステムとしてOSSに組み込まれるのはありがたい

[nisisinjuku]

パロアルトのaltoが派生し、MacができWindowsができたが、AI関連もこうやってクローニングが進んでいくんスね。

[aaasukaaa]

おっとー

[harumomo2006]

期待したいところだけど能力が低くなるとちょっと性能の良い人工無能になってしまうような気がする

[naggg]

"Colossal-AIは、ChatGPTにおけるステージ1の事前トレーニング、ステージ2の報酬モデルトレーニング、ステージ3の強化学習トレーニングといった複雑な段階を含む、ChatGPTトレーニングのプロセスをオープンソースの方法で複製

[adsty]

ChatGPTトレーニングのプロセスをオープンソースの方法で複製した。

[sonots]

oss. まだ同等の性能が出せたわけではないのね

[IGA-OS]

以前から自分の分身が欲しいと思ってたんですよ🤔

[osugi3y]

OpenAIはあまり知られていないがイーロン・マスクが噛んでいる会社だ。それでもMicrosoftがマネようとしてうまくいってないのにはさすが草がはえる。

[eichannel]

いいね

[pqw]

ははーん、さてはこれ書いてる奴自身がよく意味がわかってないな？

[Shinwiki]

“わずか”

[at_yasu]

はてブのコメントを食わせ続けたらアレな物ができるんやろか

[mag-x]

環境負荷の話題。杓子定規には付加価値のコスパだろうな（データセンターでそういう指標を使っている）。でもその評価方法が新しい物事ほど不明。暗号通貨のように指標そのものに介入する技術ならなおのこと。

[wsmfp327]

HPC-AI Techが自社で作ってるColossalAIっていう機械学習ライブラリを使ってオープンソース版のChatGPTを作ると宣言。Colossal-AIはPyTorchに比べるととても軽いらしい

[lbtmplz]

ハイデガーとか全部学習させたい

[srng]

これは劣化版相当のようだけど、最近の論文によると1750Bと同等精度で数十GB程度まで削られてきてるらしい。これなら個人は厳しくともA100持ってる組織なら可能だし、元はTBオーダーなので家庭で動くのも時間の問題かも

[Nyoho]

すごい。HPC-AI Techすごい。

[ak1024]

StableDiffusionと同様にローカルで動かせるやつをいまかいまかと待っている、、、、

[hiroomi]

”特徴は「トレーニングプロセスにヒューマンフィードバック強化学習(RLHF)を導入して、人間の好みをより適切に捉える」という点”評価がもう出てくるのかな。本州最北部の方言解析ハヨ。

[spark7]

高効率ではあるが、ミニマムで1.6GBってことなのね。 https://www.hpc-ai.tech/blog/colossal-ai-chatgpt

[misshiki]

“Aディープラーニングトレーニングを最適化するOSSプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開”

[tanority]

本質はそこなのか？

[ko2inte8cu]

この分野は、アルゴリズム自体に競争力はない。一回の学習につき、億円単位の電気代を払えて、膨大な学習データがあれば、誰でもできる。まぁ、普通の組織で作れるものには競争力ゼロ

[death6coin]

「わずか1.6GBのGPUメモリ」

[toaruR]

専用機組もうかな(*´д｀*)金ねぇ－

[pascal256]

後で読む

[urtz]

人間で言う、自頭の良さと勉強量の関係