GPTの仕組みと限界についての考察（１） - conceptualization

GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク

[isobe324649]

ブログ主です。続きを書きました。https://isobe324649.hatenablog.com/entry/2023/03/27/064121

[shields-pikes]

トークンについて解説していて素晴らしい。ほぼ公式のドキュメントにも書いてあることだけど、英語だと読んでない人多いよね。この手の記事に珍しく、非常に正しくてわかりやすい解説なので続編にも期待。

[kenjou]

「○○の衝撃」とか「ヤバい」とか言ってるだけの煽り記事よりも、こういった技術的な分析・考察記事が読みたい。

[manimoto]

何気にChatGPTの仕組み、特に「トークン」について解説してる記事が少ないので貴重な良記事。/続編来た https://isobe324649.hatenablog.com/entry/2023/03/27/064121

[julajp]

人間はそのトークンに当たる部分を、逐次記憶でなく、匂い、五感連結させ夢などであえて非整合ごちゃまぜ再構成、印象をメインキーにすることで圧縮パッケージング階層記憶セットみたいにしてるんだろうな。

[yamadar]

これは良記事。32768トークンだと英語小説100ページ分くらい。小説でいう「ずっと前の伏線」は回収されないけど、短期記憶というには多い分量。進化すればするほど分かりやすく強くなりそう

[blueboy]

　これは ディープラーニングの基礎原理であるパーセプトロンを前提とした話。 パーセプトロンを理解していないと、（どんな計算をしているかについて）何も理解したことにはならない。 パ～～ の解説は https://x.gd/Y8hZA

[roy]

現状のChatGPTを使っていての問題でもあって、特定のプロンプトは「個性」として永久に保持・参照する仕組みなら良いと思うんだけど。重み付けしなければ計算量にも影響しないし。

[shunkeen]

“トークン長が4097でしたら、4097個前の単語までを参照しながら、返事を生成します”／出力も参照するから、出力トークンも4097に含めないといけなくて、入力でトークンを使い切ると何も出てこなかったかと思う。

[misochige]

いつもタイトルで脊髄反射してる人達は１００語前の自分の言葉すら参照できてないだろうと考えると、GPTは既に人類の一部に対して知性で大幅に凌駕していると言えるな。シンギュラリティはもう起きた後なんだ……

[momonga_dash]

（2）待ってます。数式を使わないTransformerの解説（前編）の後編も書いてほしい。

[doko]

GPTの限界

[fujikumo]

“GPTは何か「文脈」のような抽象的な一塊の「記憶」をもって動作しているわけではない…直前の「トークン長ぶんの単語」を「まるっと」参照したうえで、次の単語を計算して出すというのをひたすら繰り返すシステム”

[shogochiba]

😲☺😺👨😊

[misshiki]

“GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨...全部で記事を3回に...（１）大まかな背景と概要：本記事”

[yamada_k]

想像で書いているところに一抹の不安が。

[mtrock]

“ ”

[kiririmode]

トークンとは何かという話

[yo_waka]

“32768のトークン長をオーバーしてしまったら、せっかく教えた内容を忘れてしま（というか正確に言うと参照しなくなってしま）います”博士の愛した数式思い出す

[daysleeeper]

トークンについて

[north_korea]

in-context learningなどの日本語の解説も早く読みたい

[kotoripiyopiyo]

“直前の「トークン長ぶんの単語」を「まるっと」参照したうえで、次の単語を計算して出す、というのをひたすら繰り返すシステムなのです。”

[flying_kujira]

文系向けにもわかりやすくとのことなので、読んでおこうかな

[kuracom]

このタイミングで整理となる解説ありがたい…

[korint]

ふと思ったけど、さらに進化したらAIに感情出てきたりしないかね？

[i196]

脊髄だけには自信あったけど、もはや用無しだな自分…

[srng]

日本語がいまいちなのは学習量自体にもあるけどトークン効率の悪さも大きいか

[yoshi-na]

続きも読む

[dltlt]

訊いてもいないことが回答のなかで結構なボリュームになっている例を見かけるけど、訊いた設問と一致度が一番高い（学習元の）テキストがそのまんま出てきているのでは？……という疑いを持っている。

[marilyn-yasu]

日本語入力だとトークンはどう扱われるんだろ。都度翻訳して回答を作り変換？その場合トークンは1つになるのか3つになるのか。

[airj12]

(2)楽しみ

[panoramaafro]

これは面白い、続きが楽しみ

[Windymelt]

良い記事

[nuara]

アテンション先はどうやって決めるのかな。プロンプト？

[miisukepapa]

gpt

[spark7]

俺の短期記憶も3万語もないだろうな。なんか適当に要約しつつ圧縮してくような仕組みはないのかね

[mint6626]

ところで落合陽一氏がたどり着いたとされる発明はなんなんだろう。単にオブジェクト指向のプログラム書かせた＋αにしか見えないのだけど

[Guro]

“パターンに対して、パターンを返すような会話です。GPTは、…長いトークン長を踏まえ」て、…「コンピュータの計算パワーの暴力で…脊髄反射な返答をしているだけなのにも関わらず、かなり賢くみえる”

[t_trad]

「数式を使わないTransformerの解説」の後編が半年以上書かれてないようなので、これの（2）もおそらく書かれない

[shimokiyo]

わかりやすい解説。膨大な並列計算があるので画像を扱わなくてもGPUが大量に必要になる。