ChatGPTはどのように学習を行なっているのか

はじめに ChatGPTのインパクトが個人的にすごかったので、どういった学習が行われているのか、どういう課題があるのか等を理解しようと思い、OpenAIの記事をベースに情報をピックアップしてざっとまとめました。 あくまで私なりの解釈で情報を整理してまとめたものになりますので、いくつか専門性の低い分野に対しては曖昧な記述になっていたり、理解を誤って記載しているかもしれません。 もし間違い等がありましたらご指摘いただけると大変ありがたいです。 ChatGPT: Optimizing Language Models for Dialogue 参考 ChatGPTは、OpenAIによって開発された、対話に特化した言語モデルである。 特徴としては、 前の対話内容に続く質問への回答が可能。 間違いを認めることもできる。 正しくない前提に対する異議を唱えることもできる。 不適切なリクエストには応じない。

[sds-page]

結構話したけど適当に嘘つくし間違いはかたくなに認めない印象がある。指摘すると「間違ってるかもしれませんがAIなんだから仕方ねーだろ」みたいな責任回避に終始する

[Knoa]

いちばん最初にテキトーに思いついた「都庁は何区にある？」という質問に対して、どうがんばっても東京都庁舎が港区虎ノ門にあると主張して譲らないので失望しました (その後、どうにか間違いを認めさせることに成功)

[cpw]

子供を育てるのと同じ感覚になっていきそう

[shunkeen]

“人間の嗜好や評価に適応するよう目的関数に調整をかけながら学習を行う”＞パーソナライズできるようになったら最強のエコーチェンバーができそう。そして、"正しい"情報しか認めない人もニッコリして使うように

[takuver4]

よくこういう情報を調べられるなぁ。凄い。

[zzteralin]

AI開発の最終目的ってスカイネット開発なのかと思ってた。

[napsucks]

プレ・シンギュラリティがくれば人類は創作活動に従事し始めるだろうといわれていたが、まさかその創作活動からまっさきにAIに滅ぼされつつあるとは大変な皮肉である。モラベックのパラドックスだ。

[xyamashita]

どういうデータセットを食わせているのか等

[kanopen]

面白い解説

[YassLab]

"Reinforcement Learning from Human Feedback+PPOの学習アプローチを採用している。つまり、固定の目的関数を最適化させるという形ではなく、人間の嗜好や評価に適応するよう目的関数に調整をかけながら学習を行うものとなっている"

[tattyu]

これ気になってたので後でじっくり読もう。

[zakinco]

これはありがたい

[unknownlabel]

チューリング機関待ち

[igrep]

“つまり、固定の目的関数を最適化させるという形ではなく、人間の嗜好や評価に適応するよう目的関数に調整をかけながら学習を行うもの”

[mysql8]

全人類がこれを読んでHumanFeedbackすべき

[memoryalpha]

Safe AIの項のお掃除ロボの喩えがめちゃ分かりやすい(´・ω・｀)

[causeless]

"@nagakagachi おもしろかった 結構人の手のコストをかけている ChatGPTはどのように学習を行なっているのか｜ttya #zenn" from https://twitter.com/i/web/status/1600108329258614793

[ichan128]

Q. どのように学習してるの？ A. ChatGPTは言語モデルとしてトレーニングされます。言語モデルは、文章や対話を予測するためのモデルであり、大量のテキストデータを使用してトレーニングされます。トレーニングデータを

[misshiki]

“ChatGPTは、OpenAIによって開発された、対話に特化した言語モデルである。”

[circled]

料理のこととか聞いても酷い回答がやってくる。今のところプログラミングくらいしか役に立ってくれないが、むしろこれで十分な感じすらある。

[remonoil]

あとで読んでもわからないだろう

[aipacommander]

あとで

[mizukemuri]

会話の中でさらっとデタラメが混ざってきたりするのが頭痛い。参考になる点も多々あるのだが…

[matsui]

ブコメが楽しい

[B3QP]

勉強になるChatGPT解説。「モデルは前提を理解しないまま人間の評価者を真似ることを覚えるため、前提が成立しない時には間違ったことをやってしまう恐れがある」

[kei_1010]

InstructGPTとChatGPTの違いが結局よくわからなかった。ChatGPT本人に「なぜ文脈を読めるのか？」を聞いてみたけど、これもよくわからない結果になった。https://kei-1010.hatenablog.com/entry/2022/12/06/120609

[exciteB]

ChatGPTは「GPT３.5」なのかね。来年出てくる「GPT4」はさらにやばいのかな