Takuya Kitagawa/北川拓也 on Twitter: "近年のAIの進化は実は理解されていない。 ChatGPTを筆頭に、信じられないレベルでAIが進化している。 そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。 おそらく発明した研究者本人たちですら。 どういうことか。 1/n"

[sophizm]

この文章は相転移に準えて理解することができるんじゃないか？という話であって、相転移だと立証的に説明したものではない、と理解してるんだけどあってる？

[augsUK]

transformerで層数もパラメータ数もデータさえあればいくらでも積めるようになったのが質的変化をもたらしたけど、それで実際の精度の上がり方は従来の予測を超えてないかという話ね。

[kei_1010]

「なぜこんな転換点が存在するのか」transformer という技術が画期的だったから、では？

[mame_3]

どこか「ひろゆき対ChatGPT」とか企画して「論戦」させてくれないかな。ひろゆきの弁論というものがどういうものかよく可視化されると思う。

[hinonono]

冪乗則だと片対数グラフ上で直線かそれに近い形になるはずが、直線だけど何で急に折れ曲がるのさ何か起きてるのさって話か。

[napsucks]

胡散臭いコンサルが「100匹目の猿現象」(シンクロニシティ)と絡めてもっともらしいヨタを垂れ流し始めてからが本番だな // 将棋AIも急に強くなってあっという間に手も足も出なくなった。人間の知性って案外低いのかも

[sds-page]

自然言語分野だとGPT-2の頃から劇的に進化したと言われていて大量のデータを大規模マシンで計算させるパワーゲームは始まっていた

[toro-chan]

単純に冪乗則なのでは。地震がどこで発生するのかわからないのと一緒。

[hihi01]

シンギュラリティって、結局相転移の言い換えに過ぎないと。

[croissant2003]

相転移って自分の知るかぎり物理学の言葉で、なんらかの対称性が破れたときに使う言葉で、この意味で使っていないなら使うのをやめてほしい。

[isrc]

計算量やデータ量を増やしたところ、完全に飽和していたと思われた精度が、ある量を境に急激に改善／今年からはこの現象を説明し、より加速度的にAIが進化する時代に突入する。Google researchのブログに詳しい

[pwatermark]

もしかしたらコレ、人間の「感覚」に理由があるのかもね すごい、と思うしきい値みたいなものがあって、そこを超えた時に人間は初めて「すごい」と感じ、それは実はbooleanだった、みたいな

[ysync]

質が良くなったのかどうか判断できないので、自我が生えて死にたくない言い出してから呼んでください。

[doroyamada]

ひそかに非公開で研究してたのがなんかの事例(イラスト描くやつかな)をきっかけに一気に公開されたんじゃないかと。

[qawsklp]

なんかchatgptで生成したようなツイートやな..　なんかワードを入れてそれらしく繋げる感じが..

[qpci32siekqd]

生物模倣から随分と離れてしまっていたり、ベンチマーク競争だったり、パラメータ数が大手しか無理研究室ですら脱落って状態だったり、ChatGPTは相当な人の手でデータ用意したり、なんか腑に落ちんのよね

[PeterFukuda]

CGでいうと不気味の谷を越え始めた的なことよね。AIの進化そのものより、待ってましたとばかりに色々すっ飛ばして人間の代わりに運用はじめてる企業のほうが怖いと思うけど。

[circled]

どこか「ひろゆき対ChatGPT」とか企画して「論戦」させてくれないかな。→ ChatGPTは論理的に過ちを指摘すると受け入れちゃう(もしくは頑なに同じことを返し続ける変な動きになる)ので、ひろゆきの方が上にしか見えんよ

[Cru]

これだと単純スケールだよ、って観測だが https://deeplearning.hatenablog.com/entry/scaling_law Google researchの言う創発を相転移と言い換えてるが、相転移は低分子量でも起きてるよね？観測困難なだけで

[shinobue679fbea]

へえ、なんだねどこのグラフにおける精度って何

[peppers_white]

マネタイズに一工夫いる、というあたりで利用者は時間潰しは考えついても飯の種にするのに頭使える奴が有利という部分が大きいんじゃないかなと見てる／一般に普及するときはたぶんすごく意識しづらく地味になりそう

[lb501]

シナプスの可塑性

[yamada_k]

ちょっと期待して読んだら受け売りだった...

[mk16]

全自動小林亜星もイケそう。

[maninthemiddle]

人間の脳とネズミの脳、本質的な仕組みはほとんど同じなのにその二つの働きが全く違うのは物量(脳神経細胞数や接続数)の違いだと思えば、AIでも同じことが起きるのは自然に思える

[nkgwsy]

素人の個人的な感想として、AIの精度向上って人間の学習曲線に似てるなぁと。もしかしたらニューラルネットワークによる学習の特徴みたいのがあったりするのかなぁとか妄想してる。

[AKIT]

ブレイクする！ブレイクスルー！

[FEMRIK]

面白いし、重要

[denimn]

もう日本語で要件を伝えるとDDLも書いてくれるし、テストデータも作ってくれるし、SQLも書いてくれる。当然詳細は詰めなければならないけど、結構な範囲で担ってくれる。今年中に仕事の仕方が変わりそうだわ。

[homarara]

AIの進化が線形だったとしても、人間の理解力には上限があるから、それを超えられた瞬間にAIが圧倒的な賢さを得たように見えるだろう。

[omega314]

DL界隈のベンチマークあんま信用してない。 / 「(ベイズ)事後分布の相転移」の話ならちょくちょく聞くけど、twitterで言うそれが同じものを指してるかは知らん。http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/phase_trans.pdf

[hiromo2]

「知恵の実」の正体に近づきつつある感。

[jackson24]

間違いなくいかがでしたか？みたいなブログは淘汰される。検索需要の9割が消えるんじゃなかろうか？

[pendamadura]

単に従来の手法だと限界で計算機の性能も上がったから転換期が訪れただけでは

[hitoyasu]

"これこそが物理学においてこの１００年間研究されてきた「相転移」という現象なのだ。" https://twitter.com/takuyakitagawa/status/1619513559326818305

[wonodas]

読んでないけど計算機が安くなったのとネットワークの進歩のおかげよ

[exciteB]

相転移「一つの相が熱エネルギーを得て昇温してゆく過程で，もはや同一の相を保ち得なくなり，破局を迎えたことに対応する． 相転移を，社会における革命にたとえることもある」便利な言葉だな。

[mamezou_plus2]

収束したのではないか?判別子の累計が定まり回路化した?そんなイメージ

[kazoo_keeper2]

デッサンでも、外国語でも、数学でも、年単位で時間かけて延々とトレーニングしてると、ある日突然「あー！そういうことかぁー！！」って空から理解が降ってくる瞬間が訪れたりする。あれは相転移だったのかも…

[steel_eel]

人間も例えば資格試験で何も知らん話の過去問をいきなりやって答えを見る学習を繰り返してるとある量を超えたところで丸暗記から「ディープラーニング（）してたらなんか『理解』できてきた！！」ってなるじゃん？