GPTなどの大規模言語モデルは脳科学・記号論・言語学の観点で驚くほど良くできている｜梶谷健人 / 新著「生成AI時代を勝ち抜く事業・組織のつくり方」

大規模言語モデルの優秀さの秘訣ChatGPTなどに代表されるサービスで採用されている大規模言語モデル（LLM）によって、AIは今までとは比べ物にならないくらい自然な対話ができるようになった。 なぜLLMでは自然な対話ができるかというとその秘訣の1つは、LLMは大量のテキストを学習する際に、文章内の単語を「ベクトル（向きと長さを持つ数学的な量）」に変換して処理しているからだ。 GPTでは各単語は数万という次元でベクトル化されており、単語ベクトルは意味が近いほどベクトル同士の距離が近くなる。 https://openai.com/blog/introducing-text-and-code-embeddingsこれこそが大規模言語モデルがここまで高い言語能力を獲得したポイントであるが、たまたま最近読んだ脳科学、言語学、文字学の本の中で、このLLMにおけるベクトル化の仕組みは非常に理にかなってい

[yudukikun5120]

記号論全く関係ない

[uehaj]

ベクトル化と座標系は違う概念だ。特にホーキンスの提唱する座標系は3次元で、LLMの千数百次元のエンベッティング(ベクトル化)と類似がない。

[hinonono]

先人の肩へのフリーライドも、その大元を辿れば自然とその蓄積や組み合わせなのも、仕組みの要所も、人間と同じよな。違いは埋めてくる。人間の目に当たる画像学習で記号接地済みでロボットもある https://palm-e.github.io/