【論文紹介】複数トークン予測によるLLMの精度向上と高速化｜はまち

Meta社の研究チーム（Fabian Gloeckle, Badr Youbi Idrissi, Baptiste Rozière, David Lopez-Paz, Gabriel Synnaeve）が発表した論文がXで話題になっていたので、ざっと眺めてみました。理解不足も多々あると思いますので、詳細は原文を参照願います。 複数トークン予測モデルの概要トレーニング：従来のTransformerベースのLLMでは、次の１トークンを予測する単純なタスクで学習が行われますが、今回提案された複数トークン予測アーキテクチャでは、従来のTransformer型の基幹部（共有トランク：Shared transformer trunk）に複数（下図では4つ）の専用出力ヘッドを組み合わせることで、一度に未来の複数トークンを予測するタスクで効率的に学習を行う。 共有トランク(Shared)の隠れ表現から、専