ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦

ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである

[mangabon]

これで先に5万基とか揃えてたら、それはそれで「令和の箱物行政！肝腎のソフトで出遅れ！」とか言われるんだ、知ってるんだよ。

[lein4921]

そもそも同じようなものいくつも作ってどうすんだろ｡GPT以外のやつ大量に出てるけどマニアがおもちゃ感覚で一回触ってブログ記事にして終わりな現状

[sny22015]

“最初期にNVIDIAがH100の営業に来た時に「高いからいらない」と門前払いをした日本の企業や政府組織が多かった” 先見性のなさはいつものこと

[haatenax]

GCでも辺鄙なリージョン選ばないとAIモデル用のGPU不足してて割り当てされない…国家戦略としてリアルな計算資源持つことの大事さは分かる

[BlueSkyDetector]

同じ常識を共有する集団ごとに異なるLLMは必要だと思うよ。身近な例だと、投稿の健全性チェッカーに使うにしても、ヤフコメと5chとはてブだと異なる基準が必要なはず。少なくとも国や文化圏ごとに必要だと思うな。

[hagakuress]

30年間昭和を追い求め続ける日本の自称エリートリーダー達は自分達の生活が揺らぐ訳ではないウチは何も変える気はないし、戦力の逐次投入で負け続けるのはWW2からの伝統ですよ。

[maketexlsr]

また敗戦か、ほんとに敗戦って言葉好きだなみんな。負けてもゲームは終わらない。って何度でも言うぞ

[tfurukaw]

敗戦って一体誰と戦ってるんだろう？　アメリカと張り合あって勝てる気でいるつもりの人は、コンピュータ触る前に、一般教養として明治以降の歴史～第2次世界大戦の反省したほうが良いと思う。

[ultimatebreak]

最も大事な少子化対策すら金を出し渋るのに自分たちが死んだ後の未来に向けた投資をするわけがないよね

[skel]

まず著者の名前を確認するべきだった。

[agricola]

富岳のA64FXにも機械学習用の拡張命令とかがないわけじゃないんだが、CPUとHBM2メモリがセット、かつ1ノードあたりのメモリが32GBしかない。メモリ容量だけ単純比較してもA100に負けてるんだよねぇ。

[suzu_hiro_8823]

数揃えれば良いという話ではないが、数を揃えてもダメな気がする。"国策"という時点でガーベジイン・ガーベジアウトという言葉に変換される(-_-)zzz

[fukuroiri]

何の勝負なのか。ルールは？そもそもそんなルールの試合に日本は参加しているんですか？何でもかんでも単純に「勝ち／負け」で考えるのは認知的複雑性が低い証拠です。データドリブンでルールは自分で決めましょう。

[ookitasaburou]

“一方、日本で最大規模のディープラーニング計算資源は産総研が管理するABCI(AI橋渡しクラウド基盤)である。 ただし、4世代前のV100を1088基と、3世代前のA100(40GB)を120基しかない。足してもわずか1208基である。”

[Pokopon]

もうあと二千万、二千万のゲーム機を出せば、日本は、必ず、必ず勝てます

[misshiki]

“ChatGPTを開発するのには1万基のNVIDIAのGPUが必要と言われている。先の記事によれば、GPT-4を開発するのに1万から2万5千基のGPUを使ったと想定されている。”

[deb]

あんまり出荷台数とか公にされないのは、これ数基あれば核ミサイルや原爆のシミュレーション、数十台あれば核開発も可能だから…

[georgew]

発想を変えてNVIDIA一社独占を崩すハード分野はもはや無理ゲーなの？

[rosiro]

とりあえず清水さん以上にAIに詳しいブクマカいるとはおもえん。あとエンチャントムーン小馬鹿にしてなんか関係あるの？くずだろ

[mahinatan]

よくわかんないんだけど、新たに増やすとして稼働するための電力とか足りるんですかね？これ以上電気代上がると困るんだけど。

[takeishi]

1〜2年の遅れが死活問題になる会社（例えばGoogle）はGPU争奪戦を札束で戦ってもらうとして、そこまでじゃないがAI研究したい所は軍資金と相談しながらNVIDIA互換品を開発するか、AMDとintelに張るしか無いような。

[myopia]

記事にいくつか間違いがある。ABCIのGPU数は、V100は1088サーバ x4 (4352)、A100は120サーバ x8(960)。LLMのような大きなモデルは、80GBでも容量が足りず、モデルを分割して並列処理するので、メモリ容量は最重要ではない。

[yagigahana]

富岳やJHPCNや物性研、分子研など選択肢が多いのが日本の計算環境の利点なので、産総研のGPUに予算全振りはやめてほしい

[ooblog]

#スパコン #時短経済 #判断経済 #AI #LLM #ChatGPT #認知資源 #計算資源 #判断資源 #深層学習 #ディープラーニング #ビッグデータ #CPU #GPU #RAM #VRAM #NVIDIA 「GPT-4~大規模言語モデル~80GB~「単独のVRAM容量」~並列~複数のGPUに分散~「数」」

[Kukri]

あんまり日本人には向いてない分野だからこの状況じゃないのかな。得意なのはハードウェア周りの職人芸でしょ。好きなことだけやってても先進国の端くれではいられると思うけど

[heppokopg2013]

ジムケラーの会社に全ベットして、トレンド変えて欲しい

[Xray]

英語圏の人は日本語用のAIは作ってくれないという当然の事実があって、自分たちで補助AIが作れなかったら英語圏の人にはどんどん遅れを取りますよっていう話だ。それが読み取れないなら口を出さないほうが良い。

[sds-page]

2021年の時点でV100が4352基、A100が960基で計5312基って書いてるけどどっちが正しいの？　https://www.aist.go.jp/aist_j/news/au20210629.html

[mangakoji]

ゼロ戦のない太平洋戦争。チハどころかハ号もない。擲弾筒すらない。38もなく村田で頑張る。

[toaruR]

ツルハシ買いまくるのもまた敗北 _:(´ཀ`」 ∠): ライブラリ込みの安価で強力な国産NPU欲しい

[wktk_msum]

無理ゲーすぎるのか、来年はどうするのか

[urtz]

まだ「戦い」が始まって1年しか経っていないのに？ちょっと気が早い。このままだと敗戦するのはその通りだと思うが、AI特化のSoC等が出てくるのはこれからだし、日本がそこで勝つ可能性もニュートリノレベルで存在する

[ginga0118]

大丈夫。日本は大量の資金を投入して自前で作って失敗するから。そこまでは失敗ではない！

[TakamoriTarou]

なんじゃこりゃと思ったらえんちゃんと何とかの人だった。この芸風でまだがんばるんだなあ。仮に国が金を突っ込んでも著者が使えるようにはならんよ。性能差はちゃんとチューニングすれば出ますよ。

[jmako]

日本は技術力で負けてないから大丈夫だもん！！

[so-apps]

日本のリーダーは、設備投資ではなく部下の滅私奉公で成果をあげようとするのでな。

[ya--mada]

1基とはGPUボード1枚のことですか？

[nekoleaf]

わかってない記者がわかったふうに日本を貶めることを目的にした記事。同じものを後追いで作ること前提で話ししてる。現状の差がこのまま八十年続くと真剣に思って記事書いてるの？

[taruhachi]

計算機リソースの利用ってそもそも国籍で縛られるものだったっけ。政治的に対立してなければ金払って利用すればいいと思うので米国の計算機は使えないの？と思ってしまうんだけどどうなんだろ。

[takashi_kun]

そもそもコンピューティングリソースに国策AI基盤を使ってる企業なんかそうないし、LLMのまともな活用法を考えてから出直してきてくれ