自然なブログを書いてしまうほど超高精度な言語モデル「GPT-3」はどのように言葉を紡いでいるのか？

OpenAIが開発する「GPT-3」は、ほとんど違和感のないブログ記事を生成できてしまうほど高い精度を誇る言語モデルです。そのGPT-3がテキストを生成する仕組みについて、オンライン学習プラットフォーム「Udacity」でAIや機械学習関連の講座を持つJay Alammar氏が解説しています。 How GPT3 Works - Visualizations and Animations – Jay Alammar – Visualizing machine learning one concept at a time. https://jalammar.github.io/how-gpt3-works-visualizations-animations/ The Illustrated GPT-2 (Visualizing Transformer Language Models) – Ja

[arisane]

タイトルだけ見てブログの最後に「このエントリはGPT-3が書きました」とあったらどうしようと思いながらスクロールした。中身は読んでない。

[Nyoho]

“Alammar氏によると、GPT-3の学習には460万ドル(約4億9000万円)のコストがかかり、1台のGPUを使用した場合は計算に355年かかるとのこと。”

[johnmayer]

あとでよむ

[chuujou]

大量にブログを食わせたら、「いかがでしたでしょうか？」で終わる文章を生成しそう。

[tach]

納得できるか否かは別にしてこれまでに無く具体的で物凄くイメージがクリアな説明。推奨。

[smicho]

＞GPT-3の学習には460万ドル(約4億9000万円)のコストがかかり、1台のGPUを使用した場合は計算に355年かかる

[misshiki]

“GPT-3がテキストを生成する仕組みについて”図解解説で良い。

[mizchi]

重み付けマルコフ連鎖っぽい

[ntstn]

SEOを破壊出来そうだな。

[minamishinji]

量だけ？ってんは言い過ぎだけど、それはそれですごいな。

[quwachy]

この理屈だと日本語は無理じゃね

[yuki_2021]

こいつにGoogleの検索上位の文章食わせれば、検索結果をハックするシステム作れないかなー？とか思ってる。

[xorzx]

ネバーエンディングストーリーで文字をデタラメに並べて物語を作る人いたよね

[kikai-taro]

バベルの図書館で蔵書に付箋紙を貼っていくような作業だ。入力値の思想信条も無条件で学習するのか。このアプローチでは、人工意識が生まれるまでまだまだ時間がかかりそう。人の意識が“天然”だと仮定してだけど。