日本語サジェスト機能の実装にあたり試行錯誤した話 - コネヒト開発者ブログ

こんにちは。エンジニアの永井(shnagai)です。 今回は、現在進めている検索システム内製化プロジェクトの中で、日本語サジェストを実装するために試行錯誤した話を書こうと思います。 内容は、ざっくり下記の構成になっています。 日本語サジェストの難しいところ よりよい日本語サジェストのために試行錯誤した点 この記事はコネヒトアドベントカレンダー2022の16日目の記事です。 日本語サジェストの難しいところ 日本語のサジェストをOpenSearch(Elasticsearch)で実装するにあたりいくつか難しい点がありました。 この話の前提として、コネヒトではインデックス作成に使えるデータとして下記を持っています。 検索ログデータ 検索対象のテキストデータ 以後の話はこのデータを使いサジェストを実装する際に、どのような点を意識したかについて話していきます。 ①よみがなの考慮 サジェストの実装を考

[nagais]

最近取り組んで結構悪戦苦闘したOpenSearchを使ったサジェストについて記事を書きました。奥深いけど楽しい

[nilab]

「よみがなの考慮」「edge_ngramを使いトークンを先頭からn文字という形に分割」「kuromojiで形態素解析はせずkeywordトークナイザーを使う」「カスタム辞書にカナを振る」

[mookie]

日本語サジェストの難しい点 ①よみがなの考慮 ②単語の区切り 日本語サジェストのために試行錯誤した点 ① 検索ログ活用のために、kuromojiで形態素解析はせずkeywordトークナイザーを使う ② カスタム辞書にカナを振る