LLMの内部表現とは何か LLMに限らず機械学習モデルを理解してコントロールする上で、モデルの内部表現にどんな情報が含まれているのか知るのはとても重要です。 内部表現とは、モデルが入力データ(例えばテキスト)を受け取ったときに、そのデータを解析し理解するために内部で生成されるデータの表現です。表現はモデルの各層で異なる形式を持ち、最終的な出力(例えば文章生成など)に至るまでのプロセスに密接に関わります。内部表現は隠れた表現という言い方もできます。 これまで、内部表現を理解するための研究はたくさん行われてきました。しかし、スケールの限界や精度の悪さ、表現力の不足などが問題となり、なかなか実用的なアプローチとは言えるものはなかったと言われています。 そこでGoogleの研究者らは、LLMならば自分自身の内部表現を人間のために「翻訳」することが可能であると考えました。LLMがテキストを生成する高