オンラインドキュメントと日本語全文検索

自社では Sphinx というドキュメントツールを利用しているのですが、残念ながらこれに付属している検索機能の日本語検索はかなり厳しいです。また残念ながら Sphinx 開発側も検索周りを改善するという予定は直近ではないようです。 そして検索というのはとても難しい技術なため自分のような素人では導入して「普通に期待する動作」をさせるまでの距離はとても遠いです。 ただ、なんとかして日本語全文検索を実現したいという思いはここ10 年くらいずっと思っていました。これは自社の Sphinx テーマを作ってくれている社員ともよく話をしていたのですが、どうしてもリソースをつぎ込めずにいました。 まとめ日本語検索に対応している Meilisearch を採用したドキュメントスクレイパーの実行は GItHub Actions (Self-hosted Runner) を採用した自社 Sphinx テーマの検

[miiton]

Meilisearchに頑張ってプルリク書いた甲斐があったぜヽ(｀▽´)/ Rustでの初実績。漢字オンリーの文字列だと中国語が優先されちゃったりするので現時点では完全日本語フレンドリーではない。

[otchy210]

日本語全文検索はとかく形態素解析が面倒で、全部 N-gram でいーじゃんって自作した超速インメモリ DB がこれ → https://github.com/otchy210/sim-doc-db

[washi-mizok]

記憶からナマズ出た

[GENS]

Linderaさん見たら辞書対応してるからNEologdのCSVブッこめれば新語にも対応できるのかな（「鬼滅の刃」とか「きゃりーぱみゅぱみゅ」）。つーかNEologdの最終更新が2年前なのね… 今は世間は何使ってるんだろう。

[oooooooo]

https://cse.google.com/ に課金してる

[paulownia]

Lindera は知ってたがmeilsearchは知らんかった

[dh16t]

“Meilisearch と Sphinx の組み合わせ” / 軽快な動作だなあ

[knok]

sudachi.rsに置き換えできたりするかな。SudachiDictはNeologdほどなんでもかんでも長い新語入れないけどメンテナンスは継続的に行われている点がすばらしい

[aktkro]

おおおおお良さそう。

[tofu-kun]

"Meilisearch は v0.27.0 にて日本語に対応しています。これを実現しているのは Lindera という kuromoji-rs のフォーク実装です。"

[sezemi]

動画の様子いいな

[finefinethankyou]

ドキュメントの日本語全文検索

[takilog]

verygoodな動作に見えた（実装のところは素人なので分かりませんです・・・）

[razokulover]

“Meilisearch”知らなかった

[yarumato]

“Sphinxというドキュメントツール付属の検索機能の日本語検索は厳しい。Meilisearchはパリのスタートアップ？開発のRust製検索エンジン。バイナリ取得してすぐに動かせます。期待以上の結果。費用も 月 $ 30 だけ”

[rgfx]

Meilisearch とな。Laravel scoutにもバンドルされてたやつだっけ、便利そうだな。