イベント駆動型アーキテクチャで実現する Query Auto Completion 更新 - LegalOn Technologies Engineering Blog
こんにちは、株式会社LegalOn Technologies の検索・推薦チームでエンジニアをしている、佐藤です。 弊社では LegalForce という製品で、お客様がアップロードした契約書を条文単位で検索ができる、条文検索機能を提供しています。 条文検索では既に契約書本文の Query Auto Completion (クエリ自動補完, 以下 QAC)が提供されており (*1)、今回は契約書のタイトルやファイル名などで絞り込み検索を行う際に利用される QAC の開発を行いました。 本記事では今回開発した QAC を実現する上で課題となった QAC データの更新について、継続的な更新を行うために検討したシステム設計や運用方法を紹介したいと思います。 (*1) 別の記事で詳しく紹介されています。 目次 絞り込み検索のための QAC QAC データ更新における課題 Completion 更新
Googleが過去1年で検索アルゴリズムをどう変更したのか＆どんな影響があるのかを可視化するとこうなる
Googleはユーザーエクスペリエンス(UX)改善のため、常に検索エンジンのアルゴリズムを進化させています。アルゴリズムの変更によりGoogle検索結果の順位が変更されることも多く、「Googleがいつ・どんなアルゴリズム変更を行ったのか」は、ウェブサイトの流入分析に役立ちます。そんなGoogleのアルゴリズム変更について、2021年1月から12月までの内容をまとめた図が公開されました。 An Overview of Google's Algorithm Updates in 2021 [Infographic] | Social Media Today https://www.socialmediatoday.com/news/an-overview-of-googles-algorithm-updates-in-2021-infographic/617013/ 以下がGoogleが20
Amazon検索ランキングの奥深さ at MLconf SF 2016
2021-12-26 1 日遅れてしまいましたが、情報検索・検索技術 Advent Calendar 2021 25 日目の記事です。 ついにアドベントカレンダー最終日を迎えました! 今年はまだ検索領域のアドベントカレンダーが作られていないからということで、勢いで情報検索・検索技術 Advent Calendar 2021を作りましたが、多くの方に投稿に協力していただきありがとうございました。 社内勉強会の発表でネタを探しており、2016 年と少し昔の情報ですが、Amazon の製品検索において、どのようにランキングを行っているかの公演動画が非常に面白かったので、勉強がてら残したメモを記事として公開します。 今回の口頭発表は MLconf という開発者会議(非学会・非アカデミック)で発表されています。 自分が知る限り、MLconf は機械学習黎明期から高品質な発表が継続されて発信されており
Nearest Neighbor Indexes for Similarity Search | Pinecone
Vector similarity search is a game-changer in the world of search. It allows us to efficiently search a huge range of media, from GIFs to articles — with incredible accuracy in sub-second timescales for billion+ size datasets. One of the key components to efficient search is flexibility. And for that we have a wide range of search indexes available to us — there is no ‘one-size-fits-all’ in simila
検索技術に関する情報交換を目的としたSlackができました！
新型コロナウィルスの影響もあり、オフラインで集まって勉強会も開催できなくなっています。 検索技術勉強会も、もう1年以上開催できていないです。 スピーカーの人にオンラインでしゃべってもらうのもありだとは思うのですが、 懇親会とセットでその価値があったかもなぁと思うところもあり、オンラインでの開催に乗り気になれないまま時間がたってしまいました。 (配信周りを調べるのがめんどくさいなぁというのもあったかも（反省）) そんな中、takuya-aさんと話をしていて、エンジニア同士のゆるいつながりができる場所が欲しいですねぇということに。 はー、検索技術勉強会、オフラインでできないまま１年以上たってしまったのか。オンライン勉強会とかはスピーカーの人の負担とかもあるし、Discordみたいなオープンな場だけ用意してみるのありかなぁ？ただ、活発に話がされるのかどうかわからんし、ROMな人ばかりだとアレなん
Introduction to Locality-Sensitive Hashing
Tyler Neylon — (Got a machine learning project? Email me: tyler@unboxresearch.com) [Formats: html | pdf | kindle pdf] Locality-sensitive hashing (LSH) is a set of techniques that dramatically speed up search-for-neighbors or near-duplication detection on data. These techniques can be used, for example, to filter out duplicates of scraped web pages at an impressive speed, or to perform near-constan
【25日目】Pretrained Transformers for Text Ranking:BERT and Beyond - やむやむもやむなし
この記事はNLP/CV論文紹介 Advent Calendar 2020の25日目の記事です。 今回はこれまでのフォーマットとは変えて、細かく踏み込んで論文を読んでいきます。 今回読むのは「Pretrained Transformers for Text Ranking:BERT and Beyond」というタイトルの論文です。 arxiv.org こちらは検索タスクに対する基礎的なところから始め、検索に対するBERTの活用事例、さらにBERTのその先についても言及しているサーベイ論文です。 ただし分量としては155ページもあり、全てを解説することは難しいので、BERTに関する部分にフォーカスして解説していきます。 検索タスクについて クエリと文書の関連性を計算する シンプルな適用: mono BERT 長い文書への適用 コンテキストの活用: CEDR 多段に組み合わせて長い文書に対応:
Compressed Permuterm Index: キーワード辞書検索のための多機能＆省メモリなデータ構造 - Preferred Networks Research & Development
はじめましてこんにちわ。 4月からPFIで働いているまるまる（丸山）です。最近のマイブームはスダチです。 リサーチブログの更新が再開されたので、私も流れに乗って初ブログを書いてみようと思います。 今回は社内の情報検索輪講で少し話題にあがったCompressed Permuterm Indexを紹介したいと思います。 Paolo Ferragina and Rossano Venturini. “The compressed permuterm index”, ACM Transactions on Algorithms 7(1): 10 (2010). [pdf] これを実装したので以下のgoogle codeに晒してみることにします。 http://code.google.com/p/cpi00/ 修正BSDライセンスです。ソースコードは好きにしてもらって構いませんが、完成度はまだまだな
Looks Like It - The Hacker Factor Blog
For the last few months, I have had a nearly constant stream of queries asking how TinEye works and, more generally, how to find similar pictures. The truth is, I don't know how the TinEye image search engine works. They don't disclose the specifics of the algorithm(s) that they use. However, based on the type of results it returns, it appears to me to be some variation of a perceptual hash algori
探しものがはかどる検索エンジンDuckDuckGo、NDC順Bangリスト
DuckDuckGo（https://duckduckgo.com）はプライバシーの保護に重きを置いている検索エンジンのひとつである。 特筆すべきは、Bangという機能があって、探しものがとてもはかどる。 たとえば「!a 図書館」（ビックリマーク＋アルファベットのa＋スペース＋検索語）と入力するとAmazonを検索してくれる。 こんな風に「!＋何か」 で特定のサイトのみの検索ができる機能がBangである。 検索エンジンが使えなくなった（クズみたいなサイトが上位に来て、欲しい情報が見つからない等）と言われて久しいが、探すべきサイトにダイレクトで検索することで、この問題のかなりの部分が解決する。 よく使いそうなのは ! （キーワード） 最初の検索結果へ直接ジャンプ !i イメージ検索 !m 地図検索 !n ニュース検索 !v 動画検索 !w ウィキペディア検索 !pdf PDFファイルだけを検
問題になりそうなアマゾンの「偏った商品検索」（小久保重信） - エキスパート - Yahoo!ニュース
ウォール・ストリート・ジャーナルやCNBCなどの米メディアの報道によると、米アマゾン・ドット・コムはeコマースサイト内の商品検索で、収益性の高い商品を優先表示するようにアルゴリズムを変更したという。 また、同社の小売部門の幹部が自社プライベートブランド（PB）商品を優先表示させるように検索システム部門に圧力をかけたと、事情に詳しい関係者は話したという。 小売部門の幹部と検索部門の対立 アマゾンの幹部は、他の小売業者が行っているように、自社でもPB商品の販売促進を行うべきだと考えている。しかし「A9」と呼ばれる検索システム部門の従業員は、自社PBを検索結果に優先表示することは顧客の最大利益にならないと、真っ向から反対したという。 アマゾンの法務担当も、反トラスト法違反の調査がさらに厳しいものになるとして反対したという。 確かにこれは消費者を惑わす行為と言えそうだ。eコマースの検索機能は小売店
Googleはどのようにして重複コンテンツの排除を行っているのか？ ｜SEO Japan by アイオイクスSEO Japan｜アイオイクスのSEO・CV改善・Webサイト集客情報ブログ
私たちが検索を行って、Googleが検索結果を返すまでにはいくつかの過程があります。 クローラーがwebページを巡回して新しいページを発見する「クローリング」、 検索エンジンのデータベースに登録して呼び出せるようにする「インデキシング」、 検索ワードに基きインデックスされた情報を用いて結果を表示する「クエリプロセス」 の３つのプロセスです。 今回は、SEOに大きく影響を与える「重複コンテンツの排除」が、この３つの中のどの過程で行われているのかについての記事です。– SEO Japan Googleがどのように複製コンテンツを検索結果から排除したり、隠したりするかについては、たくさんの興味深い質問や回答がある。インデキシングの段階で行われるのか、それともクエリプロセスで行われるのか、はたまたその両方で行われているのか？ Googleのゲイリー・イェーシュ氏はTwitterで、「このトピックは
Addressing Trust Bias for Unbiased Learning-to-Rank@MLPRP#3
Off-Policy Evaluation and Learning for Large Action Spaces via Conjunct Effect Modeling (ICML23)
How we keep Search relevant and useful
When you come to Google Search, our goal is to connect you with useful information as quickly as possible. That information can take many forms, and over the years the search results page has evolved to include not only a list of blue links to pages across the web, but also useful features to help you find what you’re looking for even faster. Some examples include featured snippets, which highligh
Compressing dictionaries with a DAWG
I know how to make and sell software online, and I can share my tips with you. Email | Twitter | LinkedIn | Comics | All articles Last time, I wrote about how to speed up spell checking using a trie (also known as a prefix tree). However, for large dictionaries, a trie can waste a lot of memory. If you're trying to squeeze an application into a mobile device, every kilobyte counts. Consider this t
Automata Invasion
Presented by Robert Muir and Michael Mccandless, Lucid,IBM - See conference video - http://www.lucidimagination.com/devzone/events/conferences/lucene-revolution-2012 Finite-state technology, including automata and weighted finite state transducers (wFSTs), are compact data structures well suited to text processing and searching applications. Low level support for both automata and wFSTs is now ava
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Better term-centric scoring in Elasticsearch with BM25F and the combined_fields query - OpenSource Connections
Building a semantic search engine for large-scale fact-checking and question answering
Lucene/Solr Revolution 2016 参加レポート
https://www.google.com/intl/ja/search/howsearchworks/mission/users/
