埋め込みベクトルを用いたSVMによる類似文検索の検証 | 株式会社AI Shift

はじめに こんにちは、AIチームの杉山です。 今回の記事では、QA検索などを行う際の文類似度の計算に、文の埋め込みベクトルを用いてknnで計算した場合とSVMを用いた場合の結果を簡易的ですが定量的に比較してみたいと思います。 動機としては、LangChainのRetrieverの実装にkNNだけでなくSVMを用いた実装が採用されており、その説明の中で以下のようにSVMの方が良いことが多いとされていたことでどれくらい性能が異なるかを確認したいと思ったためです。[1][2] TLDR in my experience it ~always works better to use an SVM instead of kNN, if you can afford the slight computational hit 具体的には、クエリ自身だけを1クラス、検索対象のドキュメント集合全体を別の1ク

[sh19910711]

"LangChainのRetrieverの実装にkNNだけでなくSVMを用いた実装が採用されており + SVMの方が良いことが多いとされていた / 類似度スコアの相関係数の比較 + Nを大きくするとkNNの方が高い値を示すという結果" 2023