【Lucene コードリーディングから学ぶ Elasticsearch】 ハイライト&フラグメンターの仕組み - エムスリーテックブログ

エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 エムスリーでは検索エンジンとしてElasticsearchを利用しているのですが、Highlightingのフラグメント機能でとある問題が発生しました。その問題を解決する中でElasticsearch Highlighting の内部的な仕組みを理解することの重要性を改めて感じました。 今回はエムスリーで発生した問題の共有からはじめ、どのように解決したのかはもちろん、Elasticsearch Highlighting の内部的な仕組みも一部紹介します。ちなみに今回見ていくLucene のバージョンは 8.6.2 です。 「検索結果画面がすごく伸びてるんですが...」 ElasticsearchレイヤーでみるHighlighter Plain

[khigashigashi]

結論としてはこの対応だけど、それに至るまで、内部のアルゴリズムと再現コードまで手動かしてるのさすがpo3rinさん "Hot fixとして、Elasticsearchのfragmenterオプションをsimpleに変更し、問題が発生しないことを確認しました"

[sh19910711]

2020 / "検索結果画面がすごく伸びてる / Plain highlighter: ゼロから小さなインメモリインデックスを作成し、元のクエリを再実行 + 複雑なクエリや対象のフィールドが多い場合はパフォーマンスの為に別のHighlighterを使用"