Doing RAG? Vector search is *not* enough
I'm concerned by the number of times I've heard, "oh, we can do RAG with retriever X, here's the vector search query." Yes, your retriever for a RAG flow should definitely support vector search, since that will let you find documents with similar semantics to a user's query, but vector search is not enough. Your retriever should support a full hybrid search, meaning that it can perform both a vect
AI-Powered Search
Build search engines powered by the latest machine learning techniques and large language models. AI-Powered Search shows you how to build cutting-edge search engines that continuously learn from both your users and your content and drive more domain-aware and intelligent search. Inside you’ll learn modern, data-science-driven search techniques like: Semantic search using dense vector embeddings f
【自然言語処理】Elasticsearch 徹底解説 - スコアリングのロジックについて【Elasticsearch への道③】#086 #VRアカデミア
▼テーマ Elasticsearch でも実践的に利用されている Lucene's Practical Scoring Function の紹介です。 日本語、英語の解説ブログの解説がほぼ全て誤っているという、 AI 的にはかなりつらい状況を乗り越えて、正しい情報をお伝えすることに成功しました。 ▼関連プレイリスト 自然言語処理系プレイリスト https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR ▼目次 00:00 OP 01:12 本題に入る前に注意点 ==== 1.背景,定義 ==== 02:34 Lucene's PSFの背景 03:20 検索の定式化と記号の定義 05:03 定義を眺める ==== 2.数式の意味 ==== 06:17 全体像を掴もう 06:55 数式の意味(前半部分)
意味的知識グラフとApache Solrを使った関連語検索の実装 - Ahogrammer
Manningから出版予定の『AI-Powered Search』（AIを活用した情報検索の意）を冬休み中に読んでいたら、その中で意味的知識グラフ（Semantic Knowledge Graph）と呼ばれるデータ構造について説明していて、関連語の計算やクエリ拡張などに使えるということで興味深かったので紹介しようと思います。最初に意味的知識グラフについて説明したあと、日本語のデータセットに対して試してみます。 AI-Powered Search（https://www.manning.com/books/ai-powered-search） 本記事の構成は以下のとおりです。 意味的知識グラフとは 意味的知識グラフを用いた関連語の計算 参考資料 意味的知識グラフとは 知識グラフと聞くと、固有表現認識や関係抽出、OpenIEを使って構築するグラフを思い浮かべる方もいると思うのですが、意味的知識
Elastic CloudとLangChainでQiitaの記事をベクトル/セマンティック検索する方法の紹介 - Qiita
はじめに 生成AIの出現によりRAGパターンに使われるベクトル検索も注目を浴びてますが、従来のキーワード検索や全文検索とともに、ベクトル検索もElasticsearchの得意とするところです。 今回はElasticsearchでの日本語文書に対するベクトル検索を気軽に試せるJupyter Notebookを作りました。Qiita記事を検索対象に行っているので、割と専門的な文書に対する検索が試せるのではないでしょうか。 なお、今回の検索対象と検索ワードは割と適当に決めたものなので、何かの精度を結論づけるものではありませんのでご了承ください。 比較した検索手法 Elasticsearchの日本語全文検索 ... BM25という検索ランキングを使ったElasticsearchでの全文検索。日本語の形態素解析にkuromojiを使っています。 OpenAI Embeddingを使ったベクトル検索
法律のデータ構造と検索
デジタル庁は、法令標準 XML スキーマに準拠した、現行の法令データをe-Gov法令検索というサイト上で公開しています[1]。今回、この法令XMLをパースするPythonライブラリ ja-law-parser をつくり、法令データの全文検索をしてみました。 この記事では、日本の法令とそのデータ構造、法令XMLパーサについて解説し、最後に、それらを使った法令データの全文検索システムを実装する方法をご紹介します。法令検索の実装についても、GitHubリポジトリで公開しています。 この記事は、情報検索・検索技術 Advent Calendar 2023の16日目の記事です。 法律と法令 法律とは 法律の制定と公布 法律と法令の違い 法律の改正 法令のデータ構造 e-Govの法令データ 法令標準XMLスキーマ 法令番号と法令ID 題名 本則と附則 条・項・号 編・章・節・款・目 法令XMLパーサ：
Vald: 大規模・分散・高速な近似近傍密ベクトル検索エンジンの紹介（OSS）
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、ヤフーでValdの開発をしている森本です。 近年、テキストをはじめとして画像・映像・音声などのさまざまなデータの増加によって情報検索の必要性が高まっています。 これらのデータは従来の検索エンジンで効率的に検索することは容易ではありません。現在、ディープラーニングをはじめとしたAI技術は急速に発展し、テキストや画像などのデータからベクトル表現を獲得できるようになっており、これらのベクトルを用いた検索技術の需要は日に日に重要度を増しています。 本日のアドベントカレンダーでは、ベクトル検索において用いられる、近似近傍探索(ANN: Approximately Nearest Neighbor)を実現するOSSであるValdを
ベクトル検索の高速化アルゴリズムと量子化パラメータの速度・データサイズ・精度の計測 - RAGでの利用時にはtop-N を意識する - A Day in the Life
最近、文をembeddingsといった特徴ベクトルに変換するユースケースが増えている。そのベクトルから類似ベクトルを探す時に、数千ベクトルならほぼ何も考えなくともよく、数万ベクトル〜になると検索速度を高速化するためHNSW等のANNの近似最近傍探索アルゴリズムを使い、そして数百万ベクトル〜になってくると現実的なデータサイズ収めるために量子化等々を組み合わせた最適化を行うことが多いだろう。 これら類似ベクトル検索のための最適化(HNSW・IVFといったアルゴリズムや量子化)では、検索速度、データサイズ(メモリに乗るか)、精度、三つのトレードオフが発生する。これらトレードオフを踏まえた最適化戦略を考えるのだが、最適化時の正確さの計測結果として recall@10 や recall@100 が掲載されていることを多く見かける。例えばChoose the k-NN algorithm for yo
Introduction to Information Retrieval
This is the companion website for the following book. Christopher D. Manning, Prabhakar Raghavan and Hinrich Schütze, Introduction to Information Retrieval, Cambridge University Press. 2008. You can order this book at CUP, at your local bookstore or on the internet. The best search term to use is the ISBN: 0521865719. The book aims to provide a modern approach to information retrieval from a compu
ベクトル検索エンジンQdrantの紹介
はじめに これはLivesense Advent Calendar 2022 DAY 14 の記事です。 普段は主にレコメンドシステムの開発・運用をやっています。仕事ではPythonを書くことが多いです。好きな言語はRustです。この記事では、ベクトル検索エンジンQdrantを紹介します。 ベクトル検索とは そもそもベクトル検索とは何だ、という人もいると思います。簡単に言えばベクトル検索は類似するベクトルを（正確性を犠牲にして）高速に計算する技術です。 なぜそのような技術が必要になるのか簡単に説明しましょう。 なぜベクトルの類似度を計算する必要があるのか 近年、機械学習技術によって様々なものがベクトルで表現されるようになりました。典型的には画像と文書（単語）です。 「類似する画像を求める」「ユーザーが入力したワードに関連する文書を返す」「ユーザーが閲覧したアイテムに類似するアイテムのリスト
Shopping Queries Dataset: A Large-Scale ESCI Benchmark for Improving Product Search
Improving the quality of search results can significantly enhance users experience and engagement with search engines. In spite of several recent advancements in the fields of machine learning and data mining, correctly classifying items for a particular user search query has been a long-standing challenge, which still has a large room for improvement. This paper introduces the "Shopping Queries D
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
A Practical Approach To Semantic Search
第57回Elasticsearch勉強会 - Dec 13, 2023 - Elastic Meetup
GitHub - chroma-core/chroma: the AI-native open-source embedding database
Qdrant
niconicoの検索システム(2019年版)
Elasticsearch における類似度ベクトル検索のベストプラクティスを求めて/es-vector-search
情報検索・検索技術 Advent Calendar 2023 - Adventar
E-Commerce検索におけるランキング研究
ヤフーにおける機械学習検索ランキングの取り組み
