[B! search] yubessyのブックマーク

分散密ベクトル探索エンジンValdとSentence-BERTを使った類似文書検索を試す - エムスリーテックブログ

エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近、社内で情報検索論文輪読会を立ち上げました。情報検索論文読み会のスケジュールそこでNGT-ONNGについての論文*1を紹介したところ1時間の予定のところを盛り上がりすぎて2時間超えてしまいました。大盛り上がりのついでに、今回は情報検索論文輪読会で紹介した近似最近傍探索ライブラリNGTを内部で利用するValdを使って、類似文書検索がどのように出来るのか、現状の問題を解決できるのかを試したのでその結果を報告します。 Overview 弊社が抱える類似文書検索の課題 Sentence-BERT Valdを使った近似最近傍探索 NGT Vald Vald×Sententce-BERTで類似文書

yubessy 2021/06/15

リンク

Search Benchmarking: RediSearch vs. Elasticsearch - Redis

Click to learn more about RediSearch: RediSearch: A High Performance Search Engine as a Redis Module white paper Background RediSearch is a distributed full-text search and aggregation engine built as a module on top of Redis. It enables users to execute complex search queries on their Redis dataset in an extremely fast manner. The unique architecture of RediSearch, which was written in C and bui

yubessy 2019/04/20

リンク

Lucene 8 の Top-k クエリプロセッシング最適化(1) 導入編 | by mocobeta | Medium

7.0 が出たのも最近な気がしますが，もうすぐ Lucene/Solr 8.0 がリリースされる様子です（いま RC 版の VOTE 中）。またそれにつづいて，Elasticsearch 7.0 もGAがリリースされるはずです。 Lucene 部分の一番の目玉が， Top-k クエリプロセッシングの最適化（＝まだ速くなる…らしい！）ということで，少し詳しく調べてみました。ざっくり概要，アルゴリズム，実装，後方互換性の順でみていきたいと思いますが，長くなるため何回かに分けて紹介します。なお，ショートバージョンでまとめたものを Search Engineering Tech Talk #1 で発表予定です。当日だいぶ駆け足にはなるかもしれません。。。 ==== 追記 (2019/2/28) ==== 当日の発表資料です。聴講いただいた方ありがとうございました。途中，やっぱり時間が足りず説明が

yubessy 2019/02/18

search

リンク

TF-Ranking: a scalable TensorFlow library for learning-to-rank

The latest news from Google on open source releases, major projects, events, and student outreach programs. Cross-posted from the Google AI Blog. Ranking, the process of ordering a list of it ems in a way that maximizes the utility of the entire list, is applicable in a wide range of domains, from search engines and recommender systems to machine translation, dialogue systems and even computational