OpenAI開発のテキスト生成AI「GPT-3」がどんな処理を行っているのかを専門家が解説

AI研究団体・OpenAIが発表して話題を呼んだ対話型AI「ChatGPT」は、テキスト自動生成AI・GPT-3の派生形である「GPT-3.5」をファインチューニングした自然言語処理モデルです。チューリッヒ工科大学で機械学習とロボティクスの博士号課程に進んでいるダニエル・デュガス氏が、GPT-3が行っている数学的処理工程について解説しています。 The GPT-3 Architecture, on a Napkin https://dugas.ch/artificial_curiosity/GPT_architecture.html ◆入力／出力 まずGPTの「入力」とは一連のN個の単語のことで、「(入力)トークン」とも呼ばれます。そして、GPTの「出力」とは、入力トークンの最後に配置される可能性が最も高いと推測される単語です。例えば「not all heroes wear(すべてのヒーロ

[dotnetmemo]

“12288”

[midnightseminar]

GPT-3自体の解説より、ファインチューニングをどうしてるかの説明が読みたいな

[naggg]

前半はTransformerの説明だけど、次元数が多い〜

[puhu208n]

イーロン・マスクの事業って一定の問題視、足元の弱さ指摘、株価は稼げるんだが、カネにはならないんだよな。意外と伸びないし、日本で土着民に流行らない。中国はどうか知らんが。

[misshiki]

“GPT-3が行っている数学的処理工程について解説”

[gonai]

ぬるぽ

[avictors]

理解の怪しいとこは適当に似た言葉のイメージで想像しながら読んだけど、正弦曲線にするあたりで何か復習が必要感。文字の出現確率に応じてつなげていってる感じ以上のことはわかるのかどうか。

[kei_1010]

なんで皆んなダンマリなんだぁー！！！うぉおおおお！！