ChatGPTの仕組みを理解する | HireRoo Tech Blogs

本ブログでは、OpenAI社から発表されたチャットサービスであるChatGPTの仕組みを紹介していきます。どのようにChatGPTを使うかといった話ではなく、ChatGPTそのものがどのような枠組みの上で成り立っているのかをざっくりと理解できることが本記事のゴールとなります。

[shunkeen]

ヘビーユーザーが頑張ってRMやって、自身の価値観を反映したPPOが作れれば、自分だけのInstructGPT作れそう。なんなら、シナリオライターがひたすら調教すれば、一貫したキャラを保った無限にセリフを出すAIが作れそう。

[kiririmode]

モデルを大きくするよりもfine tuningの方が良質な回答を作る際の寄与が大きい

[tick2tack]

人間らしい回答をする仕組み。Supervised Fine Tuning: 人の手によるデータでの再学習 Reward Modeling: 複数出力に対する評価順位付け Proximal Policy Optimization: 報酬が最大になるよう自律的な変化

[sotet]

“セクション”

[yarumato]

“自らが意志を持つような返答は、言語モデルが学習の中で自然と自我を持ったのでしょうか？　違います。こう答えてほしいと思うデータセットを「人手で」大量に作り、学習させている。fine tuning、報酬モデル”

[stealthinu]

ChatGPTの元となっているInstructGPTでの学習の改善手法について。会話用学習セットと良い回答の点数作って強化学習させる。

[misshiki]

“ChatGPTそのものがどのような枠組みの上で成り立っているのかをざっくりと理解できることが本記事のゴール”

[satosssi]

HireRooはエンジニアの技術評価のサービスなので、評価をハックできるGPTの出現はかなりの脅威だろうなあ。GPTある世界での技術力の評価手法はどんなのがいいんでしょね（真剣）

[webnoshiori]

ふむ

[monochrome_K2]

現状の優秀なチャットAIは人が教え方を工夫することでもたらされているという認識で合っているのかなと思う

[pazl]

Ghost in the Shell

[T-norf]

OpenAIはGPT3ベースだったと思うけどトークン従量課金でファインチューニング可能なモデル4種類をクラウド提供してるよ。あまり使った報告なくて、どれぐらいの課金でどれぐらいの精度だせるかは、私も知りたいんだけど

[richmikan]

作文する方の説明はあれど、ユーザーの文章を意味を理解する方の説明が見当たらない。

[AFRO_Beet]

ネット上からの学習データとfine tuningは赤ちゃんと親の関係に似てるなぁ～！ 人間の赤ちゃんだって狼に育てられればオオカミ少女になっちゃうもんね！

[qinmu]

InstructGPT。

[natu3kan]

学習のさせ方にもコツがいるんだな。そう考えると人力も重要ってことよな。最良の回答になるためのケースの類型をコツコツ教えていくのって。手間をかけるとよくなるのオープンワールドのゲームみある。

[mayumayu_nimolove]

日本人は作るよりも作られたものの分析が得意なのかもな

[spaciba8443]

]

[qpci32siekqd]

OpenAIのドキュメンタリーに書かれている以外に、実際作る場合を考えるとどうやって学習させてるとか、モデルいくつに分割してるのかとか、そんな強化学習上手く制御出来るのかとか、色々気になってくる

[sisicom]

手順というか組み立てというか

[ussiik1]

Step1. Supervised Fine Tuning (SFT) Step2. Reward Modeling (RM) Step3. Proximal Policy Optimization (PPO)

[odakaho]

“GPTが自動的に自我を学習の中で獲得したわけではなく、”こう答えてほしいな”と思うようなデータセットを人手で大量に作り、それを言語モデルに学習させている”