はじめての自然言語処理 MixCSE による教師なし文章ベクトル生成 | オブジェクトの広場

今回は教師なしの文章ベクトル化手法である MixCSE の検証です。教師なし学習ですから教師ありの手法よりは精度的に不利でしょうが、局面によっては役に立つケースもあるのでは？と試してみることに。公開されているコードは transformers ベースなのですが、今回は Colab の TPU で動かしてみたので、その方法も紹介しますね。 1. はじめに 今回は教師なしの文章ベクトル化手法である MixCSE1 の検証をしてみました。 本連載では文章ベクトル化のモデルとして、 Sentence BERT を取り上げたこと(第9回, 第18回)がありますが、品質の良いベクトルを生成する為には大量かつ良質の教師データが必要でした。 法律や特許のような特定領域に特化した文章を扱う局面では、対象領域の文書で学習したモデルを使いたいところですが、特定領域限定の都合良いデータはなかなか手に入りません。そ

[sh19910711]

"BERT による埋め込み表現には異方性があって埋め込む空間の一部に寄る / MixCSE: 文体に特徴があるラベルなしコーパスを対象とする場合など、状況とタスクによっては教師あり手法にまさるケースもあるかも" / 2022