LLMに知識ベースを統合するのは簡単 - conceptualization

本ブログ、GPT考察シリーズの途中ですが番外編を適宜挟んでいきたいと思います。 （特に意味はないOGP画像） 愛すべき嘘つき ChatGPTを使ってると、現実には存在しないものやことをあたかも真実であるかのように語る幻覚(hallucination)の問題に良く出くわしますよね。 そんな店は実在しない…笑 なぜそうなるのか？ それは統計モデルだから よく言われるのは、GPTは「統計モデル」だから「確率が高いであろう単語」を順番に出していくというチャットシステムなので、「実在するお店の名前」をそのまま固有名詞として知識として憶えるのではなく、単語に分解して統計を取ってしまうので知識として憶えるのが苦手、ということです。 ちなみに「風が吹けば桶屋が儲かる」という有名な話も、その長い3段論法のつながりを覚えるのは苦手みたいで、聞いても変な答えを返してきたりします。*1 知識ベースをつなぎ込みたい