話題爆発中のAI「ChatGPT」の仕組みにせまる！ - Qiita

オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 話題爆発中のAI「ChatGPT」の仕組みにせまる！ 注意：ChatGPTはまだ論文が出ていないため、細かい箇所は不明です。本記事では公式から出た記事およびInstructGPTの論文をもとにChatGPTの仕組みを探っていきます 本記事の流れ: 忙しい方へ ChatGPTとは GPT-3 InstructGPT ChatGPT まとめと所感 参考 0. 忙しい方へ ChatGPTは、InstructGPTをベースとしたモデルだよ InstructGPTは、「人間の好みに合った文を出力するように微調整したGPT-3」だよ InstructGPTの学習では、以下の3つが重要だよ GPT-3の教師ありファインチューニング Reward Modelの学習 RLHF（＝Re

[misshiki]

“注意：ChatGPTはまだ論文が出ていないため、細かい箇所は不明です。本記事では公式から出た記事およびInstructGPTの論文をもとにChatGPTの仕組みを探っていきます”

[lilpacy]

GPT-3は人間の好みとはずれてしまうアラインメント問題が生じる。この問題を解決するためInstructGPTでは、RLHFを通してヒトのフィードバックを元にファインチューニング。InstructGPTを対話特化にしてChatGPTが誕生

[daabtk]

“教師なし”

[midnightseminar]

GPT本体部分以外で何をしてるかのイメージをつかむのに良い解説

[Cru]

“Truthfullness（真実性）、Harmlessness（無害性、Helpfulness（有益性）” 。人力強化学習をどうにかしてある程度で省力化する事でこれらがそれなりに担保できるならとてつもなく役に立つというかGoogleが脅威に感じるのも当然

[burabura117]

なるほど…

[naggg]

アラインメントやInstructGPTの学び直しに

[Nyoho]

「InstructGPTの学習手法さえわかれば、ChatGPTもだいたい掴める」

[cpw]

そういえば、ChatGPTはAIって言って良い気がする。それくらいにはAIだよね。

[kei_1010]

これを理解できるようになりたい