Bing検索の裏側―BitFunnelのアルゴリズム - Hatena Developer Blog
はてなアプリケーションエンジニアの id:takuya-a です。 この記事では、Microsoft の検索エンジン Bing で採用された BitFunnel アルゴリズムを紹介します。 昨年のエンジニアアドベントカレンダーでは、文字列検索のアルゴリズム全般について紹介しました（文字列アルゴリズムの学びかた - Hatena Developer Blog）。今年はそのなかでも、インデックス（索引）を使った全文検索アルゴリズムについてのお話になります。 この記事の前半は全文検索の入門にもなっていますので、検索技術になじみがない方にも楽しんでいただけるのではないでしょうか。 逆に、「そんなのもう知ってるよ！」という方は、本題である「BitFunnel アルゴリズムの詳細」から目を通していただければと思います。 この記事は、はてなエンジニア Advent Calendar 2017の21日目の
textsearch-ja: Project Home Page
形態素解析 または N-gram を使用した、組み込み型の日本語全文検索です。 また、検索の他にも日本語を扱うためのユーティリティを提供しています。 この textsearch-ja プロジェクトは PostgreSQL コミュニティによる pgFoundry の中のプロジェクトです。 ダウンロード : ソースコードのほか、Windows 用バイナリもダウンロードできます。 バグレポート メーリングリスト への参加 このプロジェクトでは「textsearch_ja」と「textsearch_senna」の2種類の全文検索インデックスがあります。 それぞれ特徴があるため、用途に応じて使い分けてください。 一般的には、文法的に整った文書を検索する場合には textsearch_ja (形態素解析) 、LIKE 演算子に近い結果を得たい場合には textsearch_senna (N-gram)
MySQLとPostgreSQLと日本語全文検索
概要 「MySQLとPostgreSQLと日本語全文検索」は次の2つのことについて紹介するイベントです。 MySQLで日本語全文検索する方法とその利用事例 PostgreSQLで日本語全文検索する方法とその利用事例 ハッシュタグは「#mypgft」（MySQLとPostgreSQLとFull Text searchより）です。 当日のTweet：MySQLとPostgreSQLと日本語全文検索 - Togetterまとめ 参加レポート： MySQLとPostgreSQLと日本語全文検索 参加レポート 「勉強会に行ってみた！」第23回「MySQLとPostgreSQLと日本語全文検索」 ｜ Geekroid（仮） MySQLとPostgreSQLと日本語全文検索：MySQL・PostgreSQLでGroonga（Mroonga・PGroonga）を使って日本語全文検索 #mypgft - ク
pg_bigm
pg_bigm(ピージーバイグラム) pg_bigmは、PostgreSQL上で全文検索機能を提供するモジュールです。このモジュールを使うことで、ユーザは全文検索用のインデックスを作成でき、高速に文字列検索を行えるようになります。このモジュールは、2-gram(バイグラム)と呼ばれる方法で、文字列から全文検索用のインデックスを作成します。 ニュース 2022-10-24: PostgreSQL15用のpg_bigm-1.2-20200228のRPMファイルをリリースしました。RPMファイルはこちらからダウンロードできます。 2022-10-13: pg_bigmバージョン 1.2 が PostgreSQL 15 に対応していることを確認しました。 2021-10-07: PostgreSQL14用のpg_bigm-1.2-20200228のRPMファイルをリリースしました。RPMファイルは
Oktaviaとは何か？ — Oktavia
OktaviaはJavaScriptで書かれた全文検索エンジンです。ブラウザとnode.js上で動作します。 プロジェクトのゴールは、 Sphinx のHTML出力用の、代替の検索エンジンを作ることです。 SphinxはPythonで書かれた素晴らしいドキュメントツールです。このツールはシンプルなフォーマット(reStructuredText)のテキストを読み込み、HTMLやPDFなどのさまざまなフォーマットに変換します。このツールはプログラミング言語のリファレンスマニュアルやソフトウェアの使用方法の説明、ライブラリやAPIのドキュメントなどでよく使われています。 SphinxのHTMLジェネレータにはシンプルな組み込みの検索エンジンが搭載されています。Sphinxで作成されたHTMLドキュメントには検索窓がついており、ドキュメント全体を検索できるようになっています。これはJavaScri
ハクビシンにもわかる全文検索 - Qiita
高速な全文検索アルゴリズムであるFM-indexについて解説する。理解しがたい点や間違っている点があれば是非コメントで指摘してほしい。 概要 FM-indexはリニアな文字列に対して検索をするアルゴリズムで、主に簡潔データ構造とBWT(およびLF mapping)という二つのアイデアから成り立っている。BWTはBurrows-Wheeler変換のことで、文字列を特殊な並び順に変換するという可逆関数である。BWTされた文字列を簡潔データ構造固有の操作をすることで、クエリ文字列の長さに比例した短い時間で文字列を探し出すのがFM-indexだ。 簡潔データ構造 簡潔データ構造に関してはFM-indexで必要となる二つの関数だけ説明して、詳細は次の機会に譲るとする。さて、二つの関数はともに文字列のある位置より前の部分に含まれている文字の数を数え上げるというものでrank()とrankLessTha
FM-index - Wikipedia
In computer science, an FM-index is a compressed full-text substring index based on the Burrows–Wheeler transform, with some similarities to the suffix array. It was created by Paolo Ferragina and Giovanni Manzini,[1] who describe it as an opportunistic data structure as it allows compression of the input text while still permitting fast substring queries. The name stands for Full-text index in Mi
elasticsearchを全文検索サーバとして活用するなら読んでおきたい、6つのブログ記事をピックアップ（追記あり） - Y-Ken Studio
LuceneベースのNoSQL全文検索サーバ、elasticsearchはログ解析の収集先として取り上げられることが多いですが、優れたNoSQL全文検索サーバでもあります。 日本でも2013年末頃から続々とブログ記事や利用事例が増えている注目の技術でもあります。 今回は、その中で全文検索サーバとしての切り口で分かりやすく解説された6つの記事を紹介します。 （追記）Hello! Elasticsearch. — Medium ナレッジワークス株式会社のKunihiko Kidoさんによるとても分かりやすい記事です。 https://medium.com/hello-elasticsearch 2014年4月に入ってから怒濤の勢いでこれらのステキな記事が追加されています。 Elasticsearch Features — 主にシステムを中心とした特徴まとめ Elasticsearch Quic
Elasticsearchチュートリアル - 不可視点
目的 検索用サーバーとして最近注目されているElasticsearchですが、ついに1.0 RC1がリリースされたそうです。 Googleトレンドを見ても、この分野で先行するApache Solrに迫る勢いを感じます。 そういうわけで私もElasticsearchについて興味を持って調べてみましたが情報がちょっと少ないですね… 「調べたけど断片的な情報しかない」 「公式doc英語だし、専門用語が多すぎてわからん」 「え、できること多すぎ。よくわからん。どれが重要？」 と言った感じで、最初ちょっと大変… そこで調べ始める人が、概観をつかむためのチュートリアルをつくろうと思います。 コマンドを全部実行する必要ありません。用語をおさえることで調べものが捗ることがひとつのゴールです。 自分の理解の整理も兼ねています。間違ってる箇所あったら教えて下さい。 part 1:ESを使ってレストラン検索を作
Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでログ解析）
前回の記事では splunk enterpriseを使ってみました。 今回もログ解析プラットホームである、Kibanaを使ってみます。 Kibanaは検索などにElasticsearchを利用します。 またKibanaはデータの収集にLogstashの利用を推奨しています。 それぞれ以下のようなプロダクトです。 Logstash ログデータを収集し、解析して保存します。 この組み合わせで使用する場合、保存先はelasticsearchになります。 Elasticsearch リアルタイムデータの全文検索や統計などをRestfulインターフェースで提供します。 Kibana データの情報を描画し、検索したりドリルダウンで情報をたどれるGUIアプリケーションです。 この３つを組み合わせて使用すると便利なログ解析プラットホームが作れますよというのがKibanaの売りです。 データの収集や解析を行
elasticsearchでらくらく全文検索 - UNIX的なアレ
検索エンジン選びは大変です！現時点でnanapiではmroongaを使っていますが、もっと検索エンジンらしい機能がほしくなったりします。 またそれ以外にも今後拡張するだろう機能をカバーしきれないような予感が徐々にしているので、ゆるゆると検索エンジンを検証し始めています。 そんななか、elasticsearchがイケてるらしいという情報をキャッチしたので使ってみました。今回はelasticsearchを簡単に動かすまでのチュートリアル的なものを紹介します。 Free and Open Search: The Creators of Elasticsearch, ELK & Kibana | Elastic elasticsearchとは？ Apache Lucene上で稼働する全文検索エンジンです。 特徴としては、REST APIをもちJSONですべてやり取りできるところです。このあたりから
kuromoji - japanese morphological analyzer
About Kuromoji Kuromoji is an open source Japanese morphological analyzer written in Java. Kuromoji has been donated to the Apache Software Foundation and provides the Japanese language support in Apache Lucene and Apache Solr 3.6 and 4.0 releases, but it can also be used separately. Downloading Download Apache Lucene or Apache Solr if you want to use Kuromoji with Lucene or Solr. See below for so
「Solr@Cookpad」- Solr勉強会で発表してきました - 不可視点
9月12日にECナビにて第6回Solr勉強会がありました。事例紹介に「Solr@cookpad」という発表で参加させて頂いた時の資料を公開しておきます。 みなさんの発表が面白くてすごく勉強になりました。勉強会の様子はこちらに詳細に書かれています。 http://johtani.jugem.jp/?eid=26 スライド：Solr@cookpad Solr at cookpad View more presentations from penguinana 分かりにくいスライドかも…お気づきの点ありましたらコメント欄などでお知らせください。 ところで また、スライドでも少し紹介したtwitter検索(yats)ですが、15億docのセットを150msで7000万req/月で返していて、Solrのベンチマークにも役立っておったのですがAPIの規約にひっかかっている（第三者がオリジナルのAPIを
Solrを使ったレシピ検索のプロトタイピング
モーショノロジー#1で発表してきました http://atnd.org/events/23608 資料： http://www.slideshare.net/penguinana/solr-11287004 Solrを使ったレシピ検索のプロトタイピング View more presentations from genta kaneyama 他の発表の資料は順次以下から見れるようになるようです。 https://www.facebook.com/motionology クックパッドではchankoという仕組みを使って本番で複数のバージョンを安全にデプロイできるようにしています。 これによって1つの場所を複数のチームが同時に改善したりできるようになりました。 chankoについては以下をお読みください。 Extensionの仕組みをMITライセンスで公開します
Solrとelasticsearchについて発表してきました @ Solr勉強会 - 不可視点
Solr勉強会でElasticsearchを発表（ゴリ押し）してきました 資料： solrとelasticsearchの比較 // Speaker Deck サンプルにつかったRailsのコード：https://github.com/penguinco/ld_gourmet_search 文章の追加から、検索まで書いたのは100行無いと思いますのでさくっと試せます。 勉強会の内容については以下の方々が詳しくまとめてくれています 第9回Solr勉強会に行ってきた #SolrJP 第9回Solr勉強会を主催しました。#SolrJP | @johtani の日記 今回思ったのはkuromojiいいですねっていうことと、 jettyのマルチテナントを活用した開発環境の紹介は非常に勉強になりました。こういうのがないと開発者が多い場合に大変ですよね。 あとは、懇親会でいろいろな方がSolrをいろんな用
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
F.30. pg_trgm
https://blogs.oracle.com/mysql/post/innodb-%E5%85%A8%E6%96%87%E6%A4%9C%E7%B4%A2-n-gram-parser/
FM-indexによる全文検索
Apache Solr vs Elasticsearch - the Feature Smackdown!
Elasticsearch入門 pyfes 201207
