テキストの多様性を測る評価指標 | AI tech studio

こんにちは。リサーチサイエンティストの村上（＠ichiroex）です。 現在、AI Lab NLPチームで広告文生成の研究に取り組んでいます。 はじめに 近年、GPT-3やT5などの事前学習された大規模言語モデルの登場により、言語生成技術は飛躍的な進歩を遂げています。最近では、Hugging Face社のTransformersを活用して、様々な研究者・団体から事前学習済みモデルが公開されるようになり、我々の研究やプロダクト開発においても言語生成技術がより身近になっています。 生成モデルの研究開発では、生成したテキストを様々な観点で評価することが一般的です [1]。例えば広告文生成では、評価指標の１つとして、商品やサービスの魅力をより豊かな言い回しで伝えるために、生成テキストの多様性が重要視されています。 具体的には以下のように、同じ広告訴求（商品数の豊富さ、送料無料）でも言い回しが異なれ

[misshiki]

“テキストの多様性を測る評価指標であるdistinct-N、Self-BLEU、Pairwise-BLEUを紹介”