GPTの仕組みと限界についての考察（2.1） - conceptualization

全３回のシリーズパート２の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 （2.1）各技術の定性的な説明（本記事） （2.2）Transformerのアルゴリズム詳細 （2.3）GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ

[manimoto]

"文法や構文の解析を目的としてるだけに見える方法だけで、それを何階層も繰り返して解析していくと意味レベルまで到達してしまった。まさに量質転換 " ここはもう人間の認知では追いつけないところなんだろうなぁ…

[iku-sawa11]

英語とかの人間の勉強にも言えることな気がする（圧倒的な量が質を変える

[filinion]

単純な機能しか持たない細胞の塊であるはずの人間の脳がなぜか知能を持つのも、単に規模の問題だったのかも知れない。このままAIの規模を拡大していったら、どこかで本当に自我を持つのかも知れない…。

[enemyoffreedom]

"構文解析と意味解析は不可分だが別のもの"という理解だったが、こうして量の増大が質の変化につながる（ように見える）さまを見ると色々揺らぐな。時間をとって本格的に再勉強するか

[deztecjp]

AIの話題において、この記事のような定義で「意味」という言葉を用いる界隈があるのか、それとも著者の独自定義なのか。そこだけ引っ掛かった。通常の定義では「意味に届いて」いないことは相変わらず明白。

[lorenz_sys]

声の大きい人達がキラキラしたことにChatGPTを使う先鞭をつけようと躍起になっているようだけどGPTは言語モデルなんだからこういう話が本筋だよなぁ。技術者ならまずこういう話から食いつくように思ってたんだけど。

[raitu]

“文法を解析するのとおんなじ仕組みを高く積み上げていったら意味まで届いてしまった。マジで凄い。まさに量質転換ですね。”

[burabura117]

“step-by-step promptingは、GPTがそれ自体の仕組みとしては１時記憶／短期記憶を持たないため、途中の思考過程をいわば「カンニングペーパー」に書き起こさせることで…性能が大幅に改善する” あぁ…理解した。。

[tattyu]

試しにうなぎ文を入れてみたら3.5ではI am an eel.になってしまったが、4ではI would like eel,please.になった。凄い。https://youtu.be/yzTqAU_kiKM

[kusomamma]

なるほど。つまり、「吾輩は」「猫である」のだな。

[nikutaiha]

GPT

[ksaito54]

前回、ブックマークしなかったので。今回は結構、難しそう。

[hirorinya]

完全に理解した

[ultimatebreak]

さっぱりわからねえ。廃業待ったなしや

[peperon_brain]

“文法を解析するのとおんなじ仕組みを高く積み上げていったら意味まで届いてしまった。”

[altar]

“日本語の場合は文字単位” あれは本当に一文字ごとに生成してる(っぽい)のか。他のモデルはおおむね品詞ごとにトークン化してたけど日本語特化されてないなら文字単位が自然と言われればまあ確かに。

[takuver4]

ふえー難しい。酒を飲みながらじゃ無理だわ。明日に読み直す

[misshiki]

“全３回のシリーズパート２の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察...パート2は以下の3回に... （2.1）各技術の定性的な説明（本記事）”

[ryousanngata]

“したがって、英語と日本語で、意味としては同じ内容の言葉をChatGPTに与えた場合、英語のほうがクオリティは基本的には高くなります。”

[ikedas]

いやー面白い面白い。次も楽しみ。

[sds-page]

段数増やして入力データも増やしたことで文章の意味以上の何かも理解できるようになったんかな

[Guro]

“どちらかというと文法や構文の解析を目的としてるだけに見えてしまう方法だけで、それをとにかく何階層も繰り返して解析していくと意味レベルまで到達してしまった。”

[hasiduki]

ほえーすっごい！！！！！