LEIA: 言語間転移学習でLLMを賢くする新しい方法

Studio Ousiaと理化学研究所に所属している山田育矢です。 この記事では、大規模言語モデル（LLM）の性能を向上させる新しい方法であるLEIA（Lightweight Entity-based Inter-language Adaptation）を紹介します。 LLMは言語によって性能に顕著な差があり、訓練に使われるテキストが最も多い英語において特に性能が高い傾向があることが知られています。LEIAは、LLMが蓄えている英語の知識を他の言語から使えるようにする訓練を施すことで、英語以外の言語でのLLMの性能を向上させる新しい手法です。 この度、英語・日本語の2言語LLMであるSwallowの7Bと13Bのモデルに対してLEIAによる訓練を施して性能向上を行ったモデルを公開します。 ライセンスは、Swallowと同様のLlama 2 Community Licenseです。これらのモ

[deejayroka]

“英語・日本語の2言語LLMであるSwallowの7Bと13Bのモデルに対してLEIAによる訓練を施して性能向上を行ったモデルを公開”

[misshiki]

“LEIA（Lightweight Entity-based Inter-language Adaptation）は、LLMが蓄えている英語の知識を他の言語から使えるようにする訓練を施すことで、英語以外の言語でのLLMの性能を向上させる新しい手法です。”

[kns_1234]

「英語の知識を他の言語でもより有効に使える」

[sh2]

こうした手法でLlama 3が日本語上手になるとうれしい

[sh19910711]

"LLMの性能: 言語ごとに偏りがある + 訓練に使われるテキストが最も多い英語において特に性能が高い傾向 / LEIA: Wikipediaのエンティティを使ってデータ拡張 + リンクの右側にリンク先のエンティティに対応する英語名を挿入"