ベクトル検索ライブラリ Faiss を試す｜npaka｜note

ベクトル検索ライブラリ「Faiss」を試したので、使い方をまとめました。 1. Faiss「Faiss」は、Facebookがリリースしたベクトル検索ライブラリです。 2. テキストを埋め込みに変換「埋め込み」は、意味的類似性を示すベクトル表現です。2つのベクトル間の距離は、その関連性を表し、小さな距離は高い関連性、大きな距離は低い関連性を示します。 一般的に次のような用途に使用されます。 ・検索 : 検索結果がクエリ文字列との関連性でランク付けされる ・クラスタリング : テキストを類似性によってグループ化 ・レコメンデーション : 関連するテキストを含む項目を推奨 ・異常検出 : 関連性の少ない外れ値を特定 ・ダイバーシティ測定 : 類似性分布を分析 ・分類 : テキストを最も類似したラベルで分類 Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」