GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ

当サイト【スタビジ】の本記事では、昨今のAIの進化のきっかけになっているGPTシリーズについてまとめていきたいと思います。GPT-1から始まりGPT-2、GPT-3、そしてChatGPTであるGPT-3.5、GPT-4と進化してきました。この進化の軌跡と違いについて解説していきます。 こんにちは！ データサイエンティストのウマたん(@statistics1012)です！ この記事では最近のAIブームの火付け役になったGPTシリーズについて簡単にまとめていきたいと思います。

[blogpants]

進化の仕組みを理解しようと思って訪れてみたけど、ドラゴンボール並のインフレが起きたことしか理解できなかった(´∇｀)

[matsuedon]

なるほど、わからん。なんだかすごいなぁ。

[tattyu]

“Transfomerでは、〜これは教師あり学習にあたります。” 最初のここ「教師なし学習」の間違いだよね？。GPT3の確率的に選択してく所がマルコフ連鎖に通じるものがあるなぁ。

[nemoba]

教師ありの一つ目が間違ってるね。あと、GPT-2は、単純なスケールアップ以外にも、In-context Learningによる精度向上を目指してる。これが今のプロンプトエンジニアリング笑に繋がってる。でも、良い資料

[shunkeen]

“「英語に翻訳して」という文章の後に確率的に近づく言葉をつないでいったら翻訳タスク的なことができるようになった”／In-context Learning。UI/UXの変化もさることながら、Vicunaを見るとRLHFが欠かせない技術にも感じる。

[blueboy]

（単に）量の拡大が質の変化をもたらした、というわけではない。量の拡大がそのまま性能の向上に結びつくように、システムを変更した（RNN からTransformerにした)。その意義は情報圧縮をなくしたこと。　https://x.gd/1HJgc

[sqrt]

仕組みが分かっても何故この仕組みであのアウトプットになるのかさっぱり分からんやつ

[zkq]

難しくてよくわからんが、教師データを作成するために途上国の人が低賃金で働かされているって話もあったが、それがファインチューニングで不要になったのか。ここにどれほどのものが詰まっているのかが肝になりそう

[tettekete37564]

あたまに入ってこない。僕の脳みそに100回ぐらい強化学習させてください

[kat00]

“Pretrained ”

[sun330]

人間の脳のニューロンって何個くらい使われてるんだっけ…とふいに思った…

[ryosuke-fujii]

簡単には理解した。GTP3までは論文公開されてるのね

[juejue]

またここにもイーロンマスクか。ChatGPTといいスペースXといいテスラといい、すげーなこの人。

[yamada_k]

これはどんな人向けなのかな。

[ginga0118]

わかりやすい

[degucho]

倫理観のないやつ使いたいんだよなあ

[tach]

参考

[grocio]

教示なし学習でどうして翻訳ができるのかがわからなかったけど、次のサイトがすごくわかりやすい。逆翻訳を噛ませることがミソらしい。https://deeplearning.hatenablog.com/entry/unsupervised_machine_translation

[renowan]

なるほど分からん！

[pwatermark]

数字で見てみるとマジで規模が違うんだけど、それもこれも(表記間違ってるけど)教師なし学習で行けるようにしたからなんだよね

[dlive1]

GPTとはGenerative Pretrained Transformerの略であり、Transformerをベースにした事前学習生成モデル.GPT-3.5にあたるChatGPTの登場で多くの人が触れるインターフェースになり広く普及

[spark7]

チャットインタフェースすげえなとも思った

[ET777]

なるほどわからない。ラベル付けいらないのかあ／私は文章のプロではないし、確率的に、とは実際に自分でもやっている気がする。そこまで意思で串刺してないというか

[yarumato]

“Transformer(2017)→GPT-1(2018)→GPT-2(2019)→GPT-3(2020)までは一般ユーザーが利用できるUI不在。GPT-3.5にあたるChatGPT(2022)の登場でUI提供、広く普及。”

[ntstn]

質的変更もあるだろうけど、自分の知能では「量イズパワー！」以上の事は読み取れませんでした。

[bike-a-to-z]

お、スタビジの人じゃん。gptが出た頃の解説みてお世話になったよ。

[udofukui]

なるほどわからん。

[Sinraptor]

ほとんど量的な変化しか起きていない。画期的な技術が開発されたわけではなく、本質は変わっていない。

[dpdp]

なるほど

[Shinwiki]

chatMBR?/訂正

[baca-aho-doji]

ちょっとこの分野おいていかれてるので関連記事含めて読む。