Elasticsearchで分散表現を使った類似文書検索
概要 Elasticseachに分散表現のベクトルに対する類似文書検索が実装されたということで、以下のElasticのブログ記事を参考に類似文書検索を試してみました。 Text similarity search in Elasticsearch using vector fields | Elastic Blog 類似文書検索とは、与えられたクエリの文書と似ている文書を文書集合内から検索する技術です。この際に必要となるのが「似ている」という概念で、計算機上でどうやって2つの文書間の類似度を数値として表現するかがポイントになります。例えば、互いの文書に出現する単語の一致度や重複度合いを測ったり、TF-IDFやBM25などで文書をベクトル化して比較する方法があります。ただしこれらの方法では、言い換え表現や表記の違いにより同じ意味の単語が異なる単語だと判定されたり、文書の中では重要でない単語に
MySQL 5.7のngramパーサーはアルファベットを含む文章を上手くトークナイズできない
MySQL Bugs: #82330: Don't recursively-evaluate stopword after tokenize ngramパーサー を使ってアルファベット混じりの日本語全文検索をしようとすると悲劇が起こる。デフォルトのストップワード一覧は このへん 。 MySQL 5.7.13で全文検索INDEXを使ってるんですけど半角英字でヒットする奴とヒットしないやつが居るんですけどこれって何ででしょう… ちなみに NGRAMを2文字 です。 例えばbabyって単語が含まれてる文章でbabyって単語がヒットしません。 stop wordsには含まれてないんですがなんでだろうと… http://mysql-casual.slackarchive.io/general/-/1466580139/1469433820/1469174336000008/ mysql57> CRE
発表資料: Elasticsearchによる 全文検索の実装 - Islands in the byte stream
Rails Developers Meetup 2018 (#railsdm) で話した資料です。Railsの話はほとんどなくて、全文検索の仕組みとスコアリングについてのまとめが主です。 Q&Aシステムでの質問もここで回答します。 Q. データの同期はどうされていますか？ 同期はActiveRecordのcallbackでActiveJobに更新jobを投げる形で非同期で行っています。また、データ構造などの更新がある場合にindex再構築するときのためのblue-green deployment用のバッチがあります。 Q. 何かgemを使われていますか？使われているなら、どんな選定理由ですか？ いまはelasticsearch-railsを使っていますが、このエントリの後半にあるような理由で捨てようと思っています。移行先はまだ決めていません。 Q. 辞書を作ったりしていますか？ Amazo
PostgreSQL Conference Japan 2017 - PGroonga 2 - PostgreSQLでの全文検索の決定版 #pgcon17j - 2017-11-07 - ククログ
PostgreSQL Conference Japan 2017の前にPGroonga 2のリリースアナウンスを出せた須藤です。間に合ってよかった。 PostgreSQL Conference Japan 2017でPGroonga 2を紹介しました。PGroongaを使ったことがない人向けの内容です。実際、聞いてくれた人たちはほとんど使ったことがない人ばかりでした。 関連リンク： スライド（Rabbit Slide Show） スライド（SlideShare） リポジトリー 内容 PostgreSQLをバックエンドに「今っぽい」全文検索システムを作るためのPGroongaの使い方を紹介するという内容になっています。具体的には次の機能を実現する方法を紹介しています。 高速全文検索 それっぽい順でのソート 検索結果表示画面で検索キーワードをハイライト 検索結果表示画面で検索キーワード周辺テキ
Elasticsearchで日本語全文検索をするときの最低限の設定(形態素解析のみ) - Qiita
前提知識 Analyzer(分析の流れ) テキスト -> char filter -> tokenizer -> token filter -> トークン化されたテキスト char filter テキストになにかしらの処理をする。例、HTMLタグを削除する。 tokenizer char filterで処理されたテキストをトークン化する。例、形態素解析、N-gram token filter tokenizerでトークン化された単語(トークン)になにかしらの処理をする。例、「飲み」を「飲む」に変換する。 設定するモジュール Char filter icu_normalizer 文字の正規化、大文字を小文字に統一したり、①を1にしたりする。設定はデフォルのまま。 ICU Analysis Pluginを入れる必要があります。 また、char filterで正規化をするため、filterでcj
全文検索システム: Fess - オープンソース全文検索サーバー Fess (フェス)
概要 現在表示されているサイトは旧サイトです。新サイトは http://fess.codelibs.org/ja/ です。 Fess は「5 分で簡単に構築可能な全文検索サーバー」です。Java 実行環境があればどの OS でも実行可能です。Fess は Apache ライセンスで提供され、無料 (フリーソフト) でご利用いただけます。 Seasar2 ベースで構築され、検索エンジン部分には 2 億ドキュメントもインデックス可能と言われる Solr を利用しています。 ドキュメントクロールには S2Robot を利用することで、Web やファイルシステムに対するクロールが可能になり、MS Office 系のドキュメントや zip などの圧縮ファイルも検索対象とすることができます。 特徴 5 分で簡単に構築可能な全文検索サーバー Apache ライセンスで提供 (フリーソフト) OS 非依存
オープンソースの全文検索エンジンSolrについてメモ - K52.NIKKI ver3.0
オープンソースの全文検索エンジンをいろいろ調べてみて、 Solrってのがなんか良さそうだったのでインストールしたりしてみた。 オープンソースの全文検索エンジンにはいろいろあって、有名なのはNAMAZUとかSenna。 NAMAZUは小中規模向けっぽい。 SennaはMySQLを置き換える格好になるのでちょっと使いたくないなと思ってた。 で、Solrは単独で機能する上にかなり大規模までいけるらしい。20億インデクスくらいいけるとどっかに書いてあった。 ちなみにエンジンのコアはLuceneというやつで、それにいろいろくっつけて便利にしたのがSolr。さらにGUIとクローラーまでくっつけたFessというのもあって、これは日本人が作ってたりする。クローラー付きのものにはNutchという海外産のものもある。 でもどれも全体的にドキュメントが少ない。今回試してみたけど、結局よくわからん部分も多く、実戦
Ludia(PostgreSQL+Senna)のインストール備忘録
PostgreSQLを使っていて、N-gramでサクっと全文検索したいなんて時。 ・Ubuntuに入れたPostgreSQL8.3 ・Fedoraに入れたPostgreSQL8.2 に、インストールしたので、その時の備忘録。 【PostgreSQL】 UbuntuはPostgreSQLをパッケージで入れてたのですが、 開発用のモジュール(なんちゃらdevel)とかがないよーって怒られるので、 ソースからインストールしておきます。 【使ったtarball】 senna-1.1.4.tar.gz ludia-1.5.2.tar.gz 【Sennaインストール】 Ubuntuに入れたときは、configureした後に、makeとmake installをそのままやりましたが、 とにかくアホみたいに時間がかかって、CPUリソースを食いました。 調べてみたら↓らしいので # なんかRubyが悪いみた
textsearch_senna
N-gram を使用した、組み込み型の日本語全文検索です。 ダウンロード : ソースコードのほか、Windows 用バイナリもダウンロードできます。 バグレポート メーリングリスト への参加 概要 インストール テキスト検索機能 %% 演算子 @@ 演算子 インデックス (senna) インデックス・オプション (WITH) インデックスのメンテナンス senna.drop_index() senna.reindex_index() 不要ファイルの調査 TODO 概要 日本語テキストの全文検索を行います。 形態素解析ベースである textsearch-ja とは異なり、textsearch_senna では N-gram ベースの全文検索を行います。 検索には、全文検索エンジン Senna を使用しています。 利点として、文字すべてをインデックス化するため LIKE 中間一致検索に近い結果
textsearch-ja: Project Home Page
形態素解析を使用した、組み込み型の日本語全文検索です。 この textsearch-ja プロジェクトは PostgreSQL コミュニティによる pgFoundry の中のプロジェクトです。 ダウンロード : ソースコードのほか、Windows 用バイナリもダウンロードできます。 バグレポート メーリングリスト への参加 概要 日本語テキストの全文検索を行います。 PostgreSQL 8.3 で追加された組み込みテキスト検索を拡張するため、 英語文書の検索と同様の方法で、日本語文書を検索することができます。 検索は形態素解析を利用した単語単位で行われます。 形態素解析には MeCab を使用しています。 利点として、GIN または GiST インデックスをベースにしているため、全文検索用のインデックスがリカバリ可能であることが挙げられます。 また、既に tsea
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to Set Up a Full-Text Search Using Scout in Laravel | Envato Tuts+
functions-samples/fulltext-search-firestore at main · firebase/functions-samples
AI search that understands
http://yaplog.jp/coconai/archive/51