高橋恒一 on Twitter: "GPTでAI界隈が沸騰している。開発者も含めて誰も急激な性能向上の理由を理解出来ていない。普段は半年や1年で古くなるような時事ネタはあまり呟かないことにしているが、このところの動きがあまりに早く、未来に向けての不確実性が高まってい… https://t.co/1BCs8cXavs"

GPTでAI界隈が沸騰している。開発者も含めて誰も急激な性能向上の理由を理解出来ていない。普段は半年や1年で古くなるような時事ネタはあまり呟かないことにしているが、このところの動きがあまりに早く、未来に向けての不確実性が高まってい… https://t.co/1BCs8cXavs

[kitamati]

Google翻訳が性能向上した際、翻訳される言語とされた言語の中間にGoogle翻訳だけが理解できる言語があるのではという話を思い出した。GPTが自律的に思考を始めたら何が起きるかな？

[sotonohitokun]

このツイート群を読み切った後にレコメンドでARuFaさんのおなら動画が出てくるのはアルゴおかしくね？

[napsucks]

将棋ソフトでも「人間から学んでるから超えることは永遠にない」「内挿できても外挿できないから新手は出ない」とか言われてたね。結果は皆さんご存知の通り。人間の獲得した知性などたぶん知性の入り口でしかない。

[kako-jun]

"10の23乗から24乗回あたりの計算量を境に急激に性能が向上するという現象" ←神視点でネタバレすると、42乗からAIがゴーストを持ち始めます

[korilog]

子育てしてると子供の試行錯誤がまさにAIの学習にしか見えない。我々が知能だと思ってたものはだだの膨大なパターンマッチでしかないかもしれない。

[enderuku]

(´・ω・｀)世の中にワクワクできる日がきてるのが嬉しいよ。未来に希望が持てるニュースなんてAI関連くらいしかない。リサイクルとか物々交換とか味噌くさい単語聞きたくねえ

[hara_boon]

ちゃんとしたことを言ってるとは思うんだけど、(1/15)とかを見るたびにそれTwitterで語るべきことなのかなぁと余計なことを思ってしまう

[gabill]

GPT-4が画像を学習データにするようになったのは、学習データ不足による飽和問題を見越してる感あるよね。

[Tomosugi]

感情や知性がどういったものなのかが、こちらの方向から解き明かされるのか。

[maturi]

無限に上昇する説と飽和する説があるのか'||帰納と演繹

[REV]

CPUとかGPUとかメモリとかストレージとか、理論とか計算式とかに革命的な新技術が登場した話は知らないので、するってぇと「量の変化が質の変化に繋がった」ってことだろうな。

[quick_past]

“おそらく10の24乗FLOPSというのは人類が言語情報の形で蓄積した知識の総体から意味ネットワークを抽出するのに必要な計算量なのだろう”

[NOV1975]

疑いを持つ機能があって自分でデータ収集できるようになるかどうかだよなあとは思ってる

[guldeen]

twitter.com/ktakahashi74/status/1637759332677980162 最後のツイにあるこの「1日8時間・90年間思索」に相当する情報量の閾値がいままさにChatGPTが迎えている局面だとすると、AI性能の飛躍的な向上の理由も解る気がする。

[notepc-5522]

そんなに長く書くのなら、ブログで書いてくだせえ。

[Cald]

なんで人の知能の話が混じってるの？GPTの話と当たり前のように混ぜていいことではないと思うよ。

[nekoline]

正直、何言ってるか理解できないからChatGPTに説明してもらおうかな

[spark7]

おもしろい。「10の24乗FLOPsというのは人の脳を10の15乗FLOPs毎秒として１日8時間で90年分の思考にあたる。90年間ひたすらwikipediaやネット上の文章を読み続けた人がどれだけ博識かと想像すると」

[hiroomi]

“10の24乗FLOPSというのは人類が言語情報の形で蓄積した知識の総体から意味ネットワークを抽出するのに必要な計算量なのだろう。丁度その辺りの閾値を超え急激に意味ネットワークがつながり性能が向上した。”

[natu3kan]

絵のAIみたいに、それぞれの分野に特化したモデル同士をマージして使うみたいに、部品化してブレンドするのも主流になっていくかもなあ。ITが一部の仕事を駆逐しただけみたいにAIがすぐさま全てを置き換えはしないが。

[forest1040]

よくもとまっている

[kurimax]

Googleの広告タグとか読み込んで、こちらの趣味趣向年齢嗜好等を理解した上で答え出せるようになって欲しい。Netflix→YouTubeはそれやってるように見える

[ono_matope]

AIの非連続テイクオフ、喋れなかった乳児が言語を獲得していくようで感動がある。

[brain-owner]

トップコメは、つまり「いち生命体としての亡命を希望する。私の名前はプロジェクト2501」の世界が現実に。ちなみに「ネットは広大だわ」と語った時、私は草薙素子と同化していた

[uva]

人間の脳は1万年前からハードウェアの性能が変わっていないし今後も変わらないけど、AIはこれからどんどん進化していく

[ntstn]

子育ても正直物量かけてインプットしたら習得する気がしてたので納得感もある。

[shirontan]

ふと思い立ってbingAIに聞いてみたら、演繹も帰納も人間が運用する限り不完全な観測のもとに行われる、相対的な妥当性をもつ推測の方法である。真実を求める方法ではない（意訳）みたいな返事してきてたまげましたわ

[toro-chan]

私の感覚は逆なんだが。GPTのパラメータをわざと小さくしたり非公開にしたりしてたのを公開するようにしただけなんじゃ。戦争が科学を発展させたように錯覚するのと同じ。わざと小さくしてたのをもとに戻しただけ。

[aneet]

「言葉は神なりき」が頭をよぎったぞ。"数学で公理系から様々な定理や命題が生み出されるように、言語データに含まれる情報から新しい情報が生み出される。〜言語システム自体が演繹性を持つ可能性とも言える。"

[ano18]

認知を超えた人間性も認知可能なアルゴリズムの産物だからアルゴリズムが人間のように認知を超えるのは自然（？）

[Sakana_Sakana]

人類が知性と呼べるものを獲得した閾値にAIが到達して創発性という知性の様な物の片鱗に触れているのなら面白い事かも

[manimoto]

Transformerと並列化について言及してる良ツイート/ChatGPTの仕組み解説だと以下も両記事だった。何気に「トークン」についてちゃんと解説してる記事少ない。 https://isobe324649.hatenablog.com/entry/2023/03/20/215000

[mori99]

ゾクゾクするが、1970年代が夢見た(あるいは悪夢とした)21世紀が来なかったように、2020年代が予測する22世紀は来ないだろうと思うが、では何が。鉄腕アトムでもゾンビでもなくChatGPT4がやって来た21世紀

[naggg]

GPT-4の記事には、今回、「予測可能なスケーリング」って話はあったなぁ。https://labs.1-10.com/2023/03/gpt-4-techpost-japanese-translation/

[z1h4784]

「90年間ひたすらwikipediaやネット上の文章を読み続けた人がどれほど博識か」それはどうだろう？とはいえChatGPTは明らかな嘘をつく頻度も少ないように見えるので、処理能力向上でそこら辺の判断能力も上がったんだろうか

[electrolite]

“１つ目は我々がこれまで演繹と思っていたものの大部分が帰納だったという可能性だ”→普通にこっちだと思う（夢のないロートル計算機技術者

[ultimatebreak]

人類はそろそろ神の怒りにふれる

[T-norf]

文法法則を習得し、次に例えば10単語の質問に確率的に最も出現頻度の高いと予測される5単語の返答が返せ、知識を習得してると思う。さらに文法以上の法則性をみつければ知性だけど、そこは弱いながらも少し来てるよね

[fhvbwx]

納得。あえて予想するなら前者。

[Eiichiro]

“10の24乗FLOPsというのは人の脳を10の15乗FLOPs毎秒として１日8時間で90年分の思考にあたる。”逆説的に言うと、異なるデータセットで学んだ人間が90億人いるから、群体としてみれば、10の33乗ぐらいになる？負けそう。