SVMを使った類似 embeddings 検索 - kNN ではない類似検索の選択肢 - A Day in the Life

LangChain v0.0.141 に SVM Retriever という実装が入った。これは embeddings(集合)から、単一 embedding と類似しているもの top-K を SVM を使って見つけるという実装で、えっどうやってるの？と追っかけてみたら、知らない知識で面白かったのでメモ記事に。 kNN vs SVM この実装の元となった、knn_vs_svm.ipynbというnotebookがあって、冒頭を機械翻訳すると以下となる。 よくあるワークフローは、あるデータを埋め込みに基づいてインデックス化し、新しいクエリの埋め込みがあれば、k-Nearest Neighbor検索で最も類似した例を検索することです。例えば、大規模な論文コレクションをその抄録に基づいて埋め込み、興味のある新しい論文を与えると、その論文に最も類似した論文を検索することが想像できます。 私の経験では

[misshiki]

“embeddings(集合)から、単一 embedding と類似しているもの top-K を SVM を使って見つけるという実装で、えっどうやってるの？と追っかけてみたら、知らない知識で面白かった”

[sh19910711]

"embeddings(集合)から、単一 embedding と類似しているもの top-K を SVM を使って見つける / 単純なユークリッド距離ではなく、SVMのカーネルトリックを用いた空間を考慮してのスコア算出"

[shunkeen]

embedding（埋め込み）に使うモデルの精度が高くて、埋め込まれる文章の意味（セマンティック）が十分に異なっていれば（離れていれば）、kNNで十分な気もするが。そんな都合よくないからSVMで非線形に類似判定するの？

[overlast]

よさがある。ライブラリ制作陣の想定用途をちょっとはみ出ると自前で実装し直す必要がある事例 "LangChainのSVM Retrieverを使うともっと簡単にかけるが、スコアなどが手に入らないので自前で実装してる"