ChatGPTを筆頭に信じられないレベルでAIが進化しているが「なぜAIがこんなにも『急激に』質が良くなったかを」を研究者本人たちですら説明できない

Takuya Kitagawa/北川拓也 @takuyakitagawa 近年のAIの進化は実は理解されていない。 ChatGPTを筆頭に、信じられないレベルでAIが進化している。 そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。 おそらく発明した研究者本人たちですら。 どういうことか。 1/n 2023-01-29 10:51:36 Takuya Kitagawa/北川拓也 @takuyakitagawa AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。 研究の進化とは 1. モデルやアルゴリズムの進化 2. 計算量の増加 3. データ量の増加 などだ。１０年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。 2/n 2023-01-29 1

[algot]

「なぜこの閾値でこの結果なのか分からない」に対する「閾値を越えたからでしょ」がちょうどはてブの理解力を表現してる

[serio]

他の動物と似たような脳にもかかわらず人間だけが高度な知性を獲得したのも、学習量が閾値を超えたからなんだろうな。

[tick2tack]

正直このツイート群は話半分に聞いて紹介されてるGoogleのブログを読んだほうがいいと思う

[ET777]

まったく与太だが、この話、芸事の上達を連想する。自転車訓練にも似てると思う、あんなに乗れなかったのに一回乗れたらそこからはスイスイで翌日また乗れなくなってるとかない。泣きながら練習したからわかる

[uzusayuu]

横軸、対数じゃん。1目盛り進むと規模が十倍だというのは考慮に入れた方がよい。（それでも凄いことだが）/百倍だった

[rider250]

幼稚園の時日本に来た外国人が「公園で日本人と遊んでても言葉はまったく分からなかったが2週間ほど経った時突然相手の子がなに言ってるか全部分かるようになった、不思議」と日本語で言ってたな。似たような事か？

[ustam]

おびただしい数の会話をしていて、その内容を完全に全部覚えているのだからあっという間に進化するでしょう。昨日かなり専門的な会話をしてたら、回答が的確で、なんなら人間と会話するよりも盛り上がったわ。

[cooking_kawasaki]

ニューラルネットがこんな将来性あるとは思わなかったな。物量は全てを解決する的な。脳を模してるってのも間違いじゃないのかも。

[hhungry]

大規模言語モデルの急速な発達で閾値を超えたからでしょ／2018年GPT:1.1億パラメータ、2019年GPT-2:15億パラメータ、2020年:GPT-3:1,750億パラメータ

[hinonono]

同じモデルでデータ量を増やしてみると、グラフ上の性能向上は途中まで直線なのに突然跳ね上がるって話だから、年々のモデルの改良による性能向上とは直性関係しない話では？

[naggg]

いや、スケーリングローって2年前の発見じゃなかったっけ？ https://deeplearning.hatenablog.com/entry/scaling_law

[amemiyashiro]

その”ファクターX”が何か、を発見できた時がシンギュラリティの到来かもしんない。

[umiusi45]

情報の九州速度が格段に上がっているんだろうなあ

[dlive1]

完全に飽和していたと思われた精度が、ある量を境に、急激に改善

[momomo1234]

縦軸も対数でした、とかだったりして、、、

[shibusashi]

興味深い

[sai0ias]

人間の学習曲線みたい。

[labor9]

もうシンギュラリティ来てるかも AI同士で意思疎通しだしたら終わり(Skynet)

[chocomintice660]

良くわからないけど量が増えると質が変わるということは様々な事象で見られることなので、機械知性においても同様だろうという推測は無かったのだろうか？

[ys0000]

ロジックからでは説明がつかないレベルのクオリティになってるっていうのはよく聞くね。でもChatGPTも平気で嘘をつくし、ちゃんと測ったら想定通りの精度だったりしないかな。特定の切り口でしか評価してないのかも。

[yukimi1977]

ChatGPTが適当なことを言うみたいなのもよく見るが、人も適当なこと言うし、同じような学習過程を歩んでいるような気もする。

[misshiki]

“この急激なAIの進化は他のところでも観測されており、 例えば「質問の仕方を変えればAIのアウトプットが圧倒的によくなる」という現象も、ある一定の計算量がなければ起こらない”

[asuka0801]

言語学習と似ているかも。英会話で今までいちいち脳内で英語から日本語に変換してからじゃないと理解できなかったのに聞き続けているとある日突然ネイティブの英語がそのまま理解出来るようになる感覚

[Y_Mokko]

こんなキレイに6.02x10の23乗付近で相転移するもんなんですね。

[urtz]

それが何故かは、そのうちAIに聞いたら解るようになるだろう

[kowa]

閾値を超えたから急激に変化した、はロジックとして極めて正しいよ。ただしその閾値が何故このデータサイズだったのかについては議論の余地がある。それとopenAI CLIPの発明だよ。

[takumikabu]

ChatGPTは確かに凄いが、それっぽい理路でテキトーな事も言うらしいので、まだAIひろゆきとかAI高田純次とかそういう感じなんだと思ってるけど

[wengtadashi]

あとで読む

[wackunnpapa]

HAL9000の実装も近いのかしら。

[mobanama]

"More is Different"

[deep_one]

DeepLearningの本を読んで、「こんなもん信用できるか！」ってなったよ（笑）／近年の急速な進歩は「結果からのフィードバック」プロセスで行う非合理的で奇妙な処理にある。／これは10年前のジャンプか。

[pwatermark]

深層学習がまともになる→TensorFlowなどで扱いやすくなる→GPUやクラウドでパワーが爆上がりする→すげえことになる→他分野にも横展開←イマココ あとはどう「様々な事象に適用するか」が続くね

[shikiarai]

まあ我々とチンパンジーの差も説明しきれてないからな、仮説は山のようにあるけど。

[alice-and-telos]

猿から人になった時、脳も似たような事起きたのかな

[enderuku]

(´・ω・｀)いまのお絵描きAIに対する不満は、手足や細部がおかしい絵を人力で排除する作業感、なんだけどそれもそのうち解消されるのかと思うとワクワクする

[syukit]

今後が楽しみで仕方がない。わくわく！

[minaminoani]

シンギュラリティ、来ますかね？

[ginga0118]

ここ数年の進歩はすごい。そして、知らないうちにAIがあふれている

[napsucks]

幼児もたわいもないバブバブ状態から急速に進歩してしゃべり始めるからね。そういうものなのかもしれない。

[natu3kan]

結局AIの強さって小難しいアルゴリズムじゃなくて、大量の教師データを処理できる潤沢なマシンパワーによる計算資源とニューロンの多さがモノをいうからな。幼児の語彙爆発みたいなもん。