Elasticsearchで日本語検索を扱うためのマッピング定義 - ZOZO TECH BLOG
こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com 目次 目次 はじめに Elasticsearchで全文検索を実現させる手順 全文検索のためのマッピング定義 Analyzerの構造 日本語対応のAnalyzer 日本語対応のためのプラグイン追加 kuromoji Analyzerを指定したマッピング定義の例 kuromojiプラグイン機能 カスタムしたAnalyzerのマッピング定義 Analyzerの動作確認 modeを選択した場合のマッピング定義の例 Analyzer適用の注意点 kuromoji以外の
AWS Elasticsearch Serviceが律儀にgzipを返すようになって死んだ [解決済み] - Qiita
エラー内容 今朝起きたら、 Elasticsearch + Rails にこんなエラーが起こっていた。 MultiJson::ParseError: unexpected character at line 1, column 1 [parse.c:664] なんと、いままで Accept-Encoding を無視していた AWS Elasticsearch Service が、急に仕事をしだして、 gzip 形式で返すようになった模様。 追記: なお、 elasticsearch-rails で利用されている faraday は、 Accept-Encoding: gzip がデフォなようです。 バージョン 追記しました elasticsearch (5.0.0) elasticsearch-api (5.0.0) elasticsearch-transport (5.0.0) elas
![AWS Elasticsearch Serviceが律儀にgzipを返すようになって死んだ [解決済み] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/19491fcc14fbdfbefde53dac480920d6e6dc3932/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9QVdTJTIwRWxhc3RpY3NlYXJjaCUyMFNlcnZpY2UlRTMlODElOEMlRTUlQkUlOEIlRTUlODQlODAlRTMlODElQUJnemlwJUUzJTgyJTkyJUU4JUJGJTk0JUUzJTgxJTk5JUUzJTgyJTg4JUUzJTgxJTg2JUUzJTgxJUFCJUUzJTgxJUFBJUUzJTgxJUEzJUUzJTgxJUE2JUU2JUFEJUJCJUUzJTgyJTkzJUUzJTgxJUEwJTIwJTVCJUU4JUE3JUEzJUU2JUIxJUJBJUU2JUI4JTg4JUUzJTgxJUJGJTVEJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02Nzk3ZjFiNTA5MjVjOThmOGMxZTQ4YTcwM2NkYjBiZA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwdGFkeSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NzgzNzcwYjU0YTQxNDI4YmI0MWUxOTRiMzA2NjQ0YjI%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Df04a14743cdf154d8cc5f298bde5ad24)
Elasticsearchを日本語で使う設定のまとめ - Qiita
すっかり春めいてきましたねぇ。もう少しでの季節です。 AWSでElasticsearch（5.1）が使える！ 2017年1月30日から、AWSのElasticsearchで5.1.1が使えるようになりました（AWSのお知らせ）とっても嬉しいこのアップデート、APIがすぐに試せるKibanaの開発consoleもついてきて、とても使いやすくなりました。 さてさて、しかし、日本語を検索するシステムで使う場合は、Elasticsearchに日本語の設定をしないと使えないですね。日本語の文字の細かい処理…というと、Windows XPからWindows 7に切り替わるときに、表示される字体が変わってしまったいわゆるJIS2004問題を思い出しますが…もう一昔前の話なんでしょうか… 『辻』（つじ）という文字が、一点シンニョウから二点シンニョウになった、アレですね。 日本語を使うときの設定は？ AWS
Elasticsearchで「めうはめうめうめう」を探す (形態素解析+N-Gram) - osyoyu.hatenablog.com
ホンモノのElasticsearch初心者です。ログの解析はしないのでKibanaもFluentdも出てきません。関係無いけど常体で記事書くの、慣れていないせいか割りと難しく感じます……。だいたい敬体で書いてから常体に修正してしまってます。この段落も敬体で書いてしまいました。 目的 「めうはめうめうめう」を検索できるようにする。 形態素解析 vs. N-Gram 形態素解析とN-Gramの特徴に関しては下の記事が分かりやすかった。 第6回 N-gramと形態素解析との比較：検索エンジンを作る｜gihyo.jp … 技術評論社 形態素解析（今回はプラグインも用意されているKuromojiという形態素解析器を利用した）単体である程度求めている結果を得ることは出来た。 elasticsearch-kuromojiについては導入から設定まで @9215 さんの記事がかなり詳しく、非常に助かった。自
Elasticsearch実運用時の注意点とアンチパターンまとめ - サナギわさわさ.json
Elasticsearch実運用時に個人的に気をつけている点をまとめました。 自分でも整理できていない部分がありますので、間違っている点・追加した方が良い点などありましたら教えていただけると非常に助かります。 目次 目次 インデックス・スキーマ設定 スキーマを事前に定義しておく _allの使用は必要な時のみ行う 部分一致検索をしないstringフィールドにはnot_analyzedをつける doc_value:trueをつける できるだけエイリアスを使う 必要に応じてルーティングを行う 本体の設定 ヒープメモリを適切に設定する スワップしないように設定 スプリットブレイン対策を行う field data cacheに上限を与える 検索高速化 Warmerを登録する queryとfilterを使い分ける filterのキャッシュ設定を使い分ける 必要無いフィールドは検索の際に取得しない イン
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
参加レポート:第4回elasticsearch勉強会 #elasticsearchjp | DevelopersIO
はじめに 4/21(月)に開催された第4回elasticsearch勉強会に参加してきました。場所はグラントウキョウサウスタワー。会場提供はリクルートテクノロジーズ様でした。一参加者としてお礼申し上げます、ありがとうございます！ なお、参加者にはElasticsearchのステッカーがもらえました(足りなかった人にはLogstashのステッカーだったとか。でもあのロゴも好きです僕) tweetまとめはこちら。 第4回elasticsearch勉強会 #elasticsearchjp - Togetterまとめ レポート ※後日各発表のスライドが公開されましたら順次追加致します。 「アナライズ処理の仕組みとクエリDSL」 by 株式会社シーマーク 大谷純さん(@johtani) スライド(PDF) ・転置インデックスとは ・文章を要素に区切り、その素からドキュメントIDを引けるようにすること
Hello! Elasticsearch. – Medium
Elastic Stack (Elasticsearch) Advent Calendar 2020 の 12月21日のエントリーです。
Chef で kibana + elasticsearch + fluentd デプロイしてみた
こんにちは。@jedipunkz です。 前回 kibana + elasticsearch + fluentd を構築する方法を載せたのだけど手動で構築 したので格好悪いなぁと思っていました。いうことで！ Chef でデプロイする方法を調 べてみました。 意外と簡単に出来たし、スッキリした形でデプロイ出来たのでオススメです。 前提の環境は… Ubuntu 12.04 LTS precise Chef サーバ構成 入力するログは nginx (例) オールインワン構成 Cookbook が他の OS に対応しているか確認していないので Ubuntu を前提にしていま す。Chef サーバのデプロイや knife の設定は済んでいるものとして説明していきます。 例で nginx のログを入力します。なので nginx も Chef でデプロイします。ここは他 のものに置き換えてもらっても大丈
Elasticsearchソースコードリーディング～内部構造把握の第一歩～ - Taste of Tech Topics
こんにちは！ ツカノ(@snuffkin)です。 ElasticsearchとKibanaを使うとログなどを簡単に可視化できるため、利用者が急速に増えてきています(私もそのひとりです)。様々なブログで紹介されているKibana画面はとても素敵で、積極的に使いたくなります。 ただ、それなりの規模でElasticsearchを利用するには、中身を知ったり、データ設計や運用面なども考える必要がありますが、そのあたりの情報はまだ十分ではないように思います。そこで、Elasticsearchの中身をもっと知るために、ひとりでひっそりソースコードリーディングをしてみました。 今回利用したElasticsearchのバージョンは1.0.0.RC2です。以下の場所から実行媒体とソースコードをダウンロードして確認しています。また、確認はWindowsで行っています。 実行媒体 http://www.elas
第1回ElasticSearch勉強会を開催しました！ #elasticsearchjp
ElasticSearch勉強会 第1回を主催しました。 昨年のpyfesでなんちゃって資料で喋って、1年たちました。 ElasticSearchの書籍（英語）も出てきて、今年はElasticSearchが面白くなりそうだし、使ってる人たちから話も聞きたいなぁということで、主催しました。 思った以上に興味のある方がいらっしゃったようで、100人応募のところ、チケットがすぐ完売してしまうほど。。。 しかも、当日もほぼ満員ということで、大変な盛況ぶりでした。 スピーカーの皆様、参加された皆様、会場を提供していただいたリクルートテクノロジーズさん、ありがとうございました！（たぶん、90人くらいいらっしゃってたかと。） こんなステキな案内板も用意してもらいました。スタッフのみなさんありがとうございます！ トゥギャっても頂きました。まとめていただいてありがとうございます！ 自分の発表や個々の発表に関
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Free classifieds - yourdomain.com