穴埋め言語モデルを「内閣■■大臣」のような簡単な練習問題で甘やかさないコツ【じっくり1本】

[misshiki]

“論文『PMI-Masking: Principled masking of correlated spans』では、これらの簡単すぎる問題を難しい問題に差し替えて BERT を「甘やかす」のをやめると言語モデルの品質が向上する… という面白い話...。...前提知識の説明から”