やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙

やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(

[maninthemiddle]

タイトルから予想されるより遥かに面白い記事だった

[napsucks]

shi3zの人はGPTがマルコフ連鎖もどきの子供騙しであると公言して憚らないなぁ全くと予想しながら読んだら深いことが書いてあった。AIの民主化は一概にいいことなのかは疑問だが、社会を強制的に変革するのは確実だ

[hhungry]

shi3z氏の文は私観が入りすぎて某岩崎みがあるんだよなぁ。

[NEXTAltair]

Stableが日本語の言語モデル作るよって言ってたの期待はしてる

[behuckleberry02]

詳しいことはさっぱりわからんが面白い文章。ヒカ碁みたい。

[oguri0220]

ChatGPT「頑張って書いてエラい！」

[YaSuYuKi]

企業が独占すると必ず悪になるという強烈な経験則があるから、常に誰かが穴を開けようとし続けているのはAIでも同じか

[asahiko]

みんなが「GPT-4すげー」って騒いでる時に「うわ、逆張りマンか？」って思わせるクリックベイト気味のタイトルをつけた上で、開いてみるとタイトルと違う方向の面白い視点が書かれていて、面白かった

[tattyu]

4bitで動くのは凄いな。でも予想は超えてたよ。確実に何かが変わるなと予感させた。

[aaaaaaaaaaa]

作品そのものの評価よりもこの界隈のバンドや歴史に俺は詳しいんだぞ！っていいたい承認欲求に負けまくってる一番ダサい音楽レビューみたいな文だな

[wktk_msum]

"プロによって作られたコードは消え去り、ホビイストたちの知の集合体がいまのコンピュータ世界を構築","巨大企業とホビイストの集団がまともに戦った場合、巨大企業が勝ったことは一度もない"/やはりBitcoinが至高

[burabura117]

こういう風に振り返ってみると、今ぱっと見勝ち組になりそうな面々も相当に怪しいよな。いずれにせよ読み物として非常に面白い。

[brain-box]

面白いとは思うが、歴史でホビイストが勝ってきたのではなく、独占や寡占で勝ち続けられると思ったテック企業が足をすくわれてきたのでは。その意味でGoogleはヤバいかもしれんが、現在のMicrosoftは対応できるのでは。

[Kazumi007]

4ビット整数で精度が落ちないのが興味深い

[dgls]

AI技術の独占を目指す企業と、ホビイストによる自由な開発が対立。StableDiffusionは独占を崩し、ハッカーlucidrainsがPaLMクローンを開発。LAIONコミュニティが支援し、巨大企業は「良い負け方」を模索すべきと主張。

[call_me_nots]

“独占をしていた側にしてみれば、StableDiffusionの登場はほとんどテロリズムであり、ホビイスト側に立つ狂信的な金持ちが盤石だったAI帝国に敢然と挑戦状を叩きつけてきた、みたいな話だろう”

[T-norf]

ソフトウェアの進化が鈍化すると専用ハードが主役になるって予想は同感だけど、専用ハードにせよ今の要求計算資源の規模感にせよ、ホビイストが出る幕は少なくて、後半は駄文に見える

[megamouth]

とても勇気をもらえる文章

[nabinno]

長いのでGPTにまとめてもらった：GPT-4はGPT-3と変わらず推論や創造性に弱い。GPUは高性能だがコストや環境問題もある。ホビイストは自分の思考や感性を大切に。

[naka_dekoboko]

かなり良い名文

[for-my-internet-demo]

めっちゃおもしろかったです

[otihateten3510]

全然頭に入ってこないからChatGPTに要約してもらうわ

[hevohevo]

“計算量が多く複雑な16ビット浮動小数点数から8ビット整数、さらには4ビット整数への量子化を行うことで精度を落とさず高速化するテクニックの発見”　　すごいな今そんなことなってるの。

[rarirurero9999]

そろそろAIに性能を振り切ったGPU出してくるのかな、NVIDIA

[sds-page]

ビッグテックが独占するかと思われた巨大モデルの民主化。Web3飛び越えてWeb4が来る

[differential]

ほんとだ、タイトルと中身がかなり違う

[new3]

読み物としては面白かった。shi3z氏はこういう記事あるから目を通すの辞められない。ただ恐竜･盲腸のたとえが意味不。ティラノサウルスの絶滅はK-Pg境界でラプラー同様絶滅したのが通説で巨大さ関係ないのでは？

[ytRino]

タイトルでGPTもSDもsageてばっかのshi3z氏の記事だろうなと思ったらやっぱりそうだった shi3zとfladdict、どこで差がついたのか

[wata300]

4ビット整数のなんちゃらかんちゃらってなにー？（←何もわかってない）

[kastro-iyan]

何かトーンダウンした？ChatGPT出た当初は全然大したことないって論調だったと思うけど

[Tomosugi]

shi3z氏ほど技術がわかって文章が書けるひとは他に知らない。

[buhoho]

俺も使った初手ではGPT-3.5と変わらん印象だったけど、ここ数日突っ込んだ使い方してたら印象変わってきた。明らかに洞察が深くなってるし、推論能力、察する能力が上がってる。これを庶民が使える悦楽よ

[masahiko_of_joytoy]

“OpenAI”

[matsui]

"筆者の知る限り、巨大企業とホビイストの集団がまともに戦った場合、巨大企業が勝ったことは一度もない"

[enemyoffreedom]

AIに関してはビッグテックに対して手も足も出ないと思っているが(データと計算機資源の量がものをいう分野だし)、希望というかつけいる隙もあると。でも気前の良い金持ちの札束の山が必要？あと著作権周りがなぁ

[cinefuk]

"今まで誰も「4ビット整数の積和演算の高速化」など真剣に考えてこなかったのだ。僕がもしチップのアーキテクトなら、4ビット整数化された大規模言語モデルを動かすための専用の半導体を今から設計する。"

[htnmiki]

興奮してるshi3zは良いね

[akiramaz]

“Microsoftで一番高い利益率の商品はAzureで、Azureで一番多く動いているOSはホビイストが作ったLinuxである。 これは「いい負け方」を見つけた例と言えるだろう。”

[heavenward]

すごい識者による解説って感じだったが読み取り側の知識不足でどう予想を超えなかったのはよくわからなかった