Cohereの多言語用の埋め込みモデルを日本語で評価してみる - Ahogrammer

Cohereが提供を開始した多言語用のテキスト埋め込み用のモデルであるembed-multilingual-v3.0の性能を日本語の文類似度と検索のデータセットで評価してみました。 Cohere Embed v3とは CohereのEmbed v3はテキストを埋め込むためのモデルです[1]。これまでもv2モデルがありましたが、それと比べた主な改良点は、単純に性能が向上していることに加えて、コンテンツの全体的な品質を評価する機能が挙げられます。この機能はノイズの多いデータセットを扱う場合に役立ち、品質の高い文書を上位にランク付けすることができとしています。さらに、圧縮を考慮した特別な学習方法を実装しており、ベクトルデータベースの実行コストを大幅に削減できるとしています。この機能の詳細については、近日中に公開とのことです。 画像はhttps://txt.cohere.com/introduci

[sh19910711]

"CohereのEmbed v3: コンテンツの全体的な品質を評価 + 圧縮を考慮した特別な学習方法を実装 + ベクトルデータベースの実行コストを大幅に削減 / 日本語での評価: nDCG@10とRecall@100 + 評価用のフレームワークとしてはranx" 2023