Elasticsearch Nested Type vs Array Objects
Elasticsearchには、辞書形式のデータの配列（複数のプロパティを持つオブジェクトの配列）をインデックスする際に、Nested と言うフィールドタイプが用意されています。 インデックスする際にJSONデータの内容は同じでもNested型でマッピング定義されているのか？単にオブジェクトの配列としてマッピング定義されているのかで、検索やソートなどで動作が異なるので注意が必要です。と言うか検索要件によって使い分ける必要が有ります。 デフォルトのダイナミックテンプレートでは、単純にオブジェクトの配列としてマッピング定義されます。 Array Objects最初に、通常のオブジェクトの配列についての説明です。 BtoB向けのECサイトを例に、商品は顧客ごとに販売価格が異なる仕様だとします。 { "product_id": "A000001", "prices": [ { "customer_
Elasticsearchのbool queryを利用してAND OR NOTを書いてみる - Qiita
初めてElasticsearchのクエリをビルドしたのでいろいろハマりました。SQLの世界観とちょっと違っていて、なれるまで時間がかかると思います。でも、なれたら複雑な検索条件をSQLより簡単に書けるかも知れません。 では、Elasticsearchの基礎クエリの一つ、Bool Queryを解説してみます。 Bool Queryについて Elasticsearch 2.0からandクエリとorクエリは全部非推奨になり、その代わりにboolクエリの方が推奨されます。Boolクエリは複数のクエリを組み合わせる（つまりAND、OR、NOTで結合）のに使います。 Boolクエリは４種類があります：must、 filter、 should、 must_notです。 クエリ 説明
Elasticsearch マッピング
Elasticsearch におけるマッピングとは、リレーショナルDBでいうところのテーブル定義に相当します。しかし、単にデータを格納する為のフィールドを用意して型を設定するだけではありません。Elasticsearch では、フィールドの型の他に言語解析処理などのドキュメントを検索可能にする為の各種設定が可能です。 スキーマーレスが一つの特徴の Elasticsearch では、ドキュメントをインデックスすると自動的に各フィールド毎にフィールドタイプなどのマッピングが自動で設定されインデックスが作成されます。また、事前にマッピングを設定可能な仕組みとなっています。 自動マッピングまずは以下の内容で、インデックスを作成し自動マッピングについて見て行きます。 ブログ記事毎に１つのドキュメントをインデックス各ドキュメントはドキュメントタイプ story にインデックスドキュメントタイプ sto
Elasticsearch のインデックスを無停止で再構築する - クックパッド開発者ブログ
こんにちは。ホリデー株式会社の内藤です。 ホリデー株式会社では Holiday（https://haveagood.holiday） という新規サービスの開発・運営を行っています。*1 以前投稿した記事でご紹介したように、Holiday では全文検索エンジンとして Elasticsearch を利用しています。 Ruby on Rails で構築されたアプリケーションから Elasticsearch を操作するには、公式 gem である elasticsearch-rails を使うのがとても便利です。 もちろん、Holiday でも活用させてもらっています。 大方の機能についてはこの gem で提供されるもので満足だったのですが、一点だけ、Holiday の運用をしている中で困ることがありました。 それが、サービス公開後のインデックスの再構築です。 elasticsearch-rails
初心者のためのElasticsearchその1 | DevelopersIO
はじめに 本稿では、とりあえずElasticsearchとkibanaをインストール後、 基本的なAPIをつかって動かしてみます。 Elasticsearchとは 超ざっくり特徴を言うと、 Elastic社が開発している、LuceneベースでOSSの全文検索エンジン RESTでアクセス可能。最近SQLも使えるようになった 検索エンジン界隈では一番人気（らしい） kibanaとは kibana(キバナ)はElasticsearchのデータを分析・可視化するツール kibanaのDevtoolsを使うとElasticsearchのクエリを書くのが少し楽になる 環境 今回使用した動作環境は以下のとおりです。 OS : MacOS X 10.12.4 Java : 1.8.0_121 Elasticsearch＋Kibanaインストール Homebrenwでもインストールできるし、 % brew
Elasticsearchで日本語全文検索をするために、最近見てるもの使ってるもの - mosowave
最近仕事でElasticsearchと戯れています。 Kibanaでログ解析とかする人が多いとおもうのですが、 コンテンツの日本語全文検索用だったりします。 ログ解析の資料は多い（と思う）んですが、 日本語全文検索の文献がすくない＞＜ analyzerチェックのために使うpluginって、inquisitorが王道な感じがするのですが、 個人的にはkopfが神でした。github.com blog.johtani.info 機能が多くてリッチなのもよいのですが、 analyzeAPIを叩いて単語が分割された結果が見れるというのがとてもよい。 (kuromojiをつかっているなら、kuromoji demo - japanese morphological analyzer に入力すれば品詞がわかるので、stoptagsの選定をしたりしました） あとは、参考にさせていただきまくってるブログな
既存のRailsアプリの検索にElasticSearchを導入してみる - Qiita
Greenという転職サイトで、ElasticSearchを導入して遊んでみようと思います。 具体的には今の求人が持っているデータをElasticSearchに入れてみて実際に開発環境で動かす事をGoalとします。 全文検索とは？ 全文検索(Full text search)とは、コンピュータにおいて、複数の文書(ファイ ル)から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル 内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を 対象とした検索」という意味で使用される。 - 引用：Wikipedia インデックスの違い Bツリーインデックスとは？ - 引用：What Is A B Tree Index RDBのインデックスについて 転置インデックスとは？ - 引用：thinkit elasticsearchを全文検索サーバとして活用するなら読んでおきたい、6
RDBデータをElasticsearchに投入して全文検索する - Qiita
はじめに RDBで簡易的な検索機能を実装して使っていましたが、それだけでは柔軟な検索ができず 性能的にも問題が出てくるため、全文検索エンジンを導入することにしました。 この記事では、RDBに格納されているデータをElasticsearchに投入して全文検索できる ようにするところまでを紹介したいと思います。 環境 インフラは下記構成(全てAWSです) ※マネージドサービスは運用楽でいいですねー サービス名 バージョン （以降、ElasticsearchはESと書きます。長いので^^;） ESはVPCアクセス（VPC内で動くモード）とし、VPC内からのアクセスは全て許可しています。 PrivateDNSで下記CNAME設定しています（エンドポイント長いので） RDS・・・ postgres.local ES ・・・ ftsearch.local ちなみに、この記事はPostgreSQLを前提
SolrとElasticsearchを比べてみよう
Shinsuke SugayaDirector of Business Development Department at N2SM, Inc.
Elasticsearch実運用時の注意点とアンチパターンまとめ - サナギわさわさ.json
Elasticsearch実運用時に個人的に気をつけている点をまとめました。 自分でも整理できていない部分がありますので、間違っている点・追加した方が良い点などありましたら教えていただけると非常に助かります。 目次 目次 インデックス・スキーマ設定 スキーマを事前に定義しておく _allの使用は必要な時のみ行う 部分一致検索をしないstringフィールドにはnot_analyzedをつける doc_value:trueをつける できるだけエイリアスを使う 必要に応じてルーティングを行う 本体の設定 ヒープメモリを適切に設定する スワップしないように設定 スプリットブレイン対策を行う field data cacheに上限を与える 検索高速化 Warmerを登録する queryとfilterを使い分ける filterのキャッシュ設定を使い分ける 必要無いフィールドは検索の際に取得しない イン
Elasticsearchを使うときの注意点を社内で発表しました。 - Taste of Tech Topics
こんにちは、fujiiです。 最近、社内でもElasticsearchを使う機会も増えてきてました。 インストールも簡単ですし、 ちょっと設定するだけでログの解析も手軽にできるので、 便利だと思って使い始めるのですが、 ・必要以上に負荷のかかる設定になっている。 ・システムダウンしたときの復旧を考慮していなかった。 ・初期構築などで大量にデータを入れようとしたら、一部データが入っていなかった。 と、後から反省することも多くあります。 （私も最初は知らないことが多く、反省点ばかりでした） そのため、Elasticsearchを初めて使うときの注意点をまとめ、 社内で講習会を開きました。 以下に公開しました。 実際に案件で利用しようと思った時にパフォーマンスなどで迷うこともありますので、 そんな時の一つの参考になればと思います。 Elasticsearchを使うときの注意点 公開用スライド f
ElasticsearchとKuromojiを使った形態素解析とN-Gramによる検索の適合率と再現率の向上
ElasticsearchとKuromojiを使った形態素解析とN-Gramによる検索の適合率と再現率の向上：Elasticsearch＋Hadoopベースの大規模検索基盤大解剖（2）（1/3 ページ） リクルートの事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する連載。今回は、テンプレートを利用したインデックス生成など、検索結果の品質を向上させるためのさまざまな取り組みを紹介する。 連載目次 リクルートの全社検索基盤「Qass」の事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する本連載。初回の前回「リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか
Elasticsearch 6.3.0 の新機能を試してみた | DevelopersIO
ジョブ実行 ジョブ実行の開始は API をリクエストするだけです。 Request POST _xpack/rollup/job/<job_name>/_start 集計データの確認 しばらく待つと指定したインデックス rollup_elb にデータが格納されます。例えば以下のようなデータがインデックスされます。 POST rollup_elblog/_search { "took": 2, "timed_out": false, "_shards": { "total": 5, "successful": 5, "skipped": 0, "failed": 0 }, "hits": { "total": 24, "max_score": 1, "hits": [ { "_index": "rollup_elblog", "_type": "_doc", "_id": "35506583
Elasticsearch を検索エンジンとして利用する際のポイント | LINE Engineering
こんにちは、LINE でスタンプ・着せかえショップのバックエンド開発をしている川田 (@hktechno) です。 この記事は、LINE Advent Calendar 2016 の 6 日目の記事です。 今年の4月に、Java も Elasticsearch もまともに知らなかった新卒エンジニアが Elasticsearch クラスタの管理を突然任されて苦労した話をしようと思います。 Elasticsearch とは Elasticsearch は、Elastic 社が開発している検索・分析エンジンおよびそのストレージを担うソフトウェアです。簡単に言えば、検索に特化したクエリを投げることができるデータベースのようなものです。No-SQL 型の DB といっても良いと思います。 Elasticsearch のすごいところは、大量のドキュメントの中から形態素解析や n-gram など自然言語
第５回 Elasticsearch 入門 Elasticsearch の使いどころ | DevelopersIO
今回は少し、思考を変えてシステムを開発する際にどんなところで Elasticsearch を使えるのか？という視点で説明したいと思います。 最近のシステムの特徴 最近のシステムは、ビッグデータの重要性の認知、ソーシャルデータの活用など、１つのシステムでも様々な種類のデータを管理し活用するようになってきました。また、クラウドサービスやオープンソースが当たり前に使われるようになり、データを管理し活用するためのシステムやサービスも様々な選択肢があります。 そのため、最近のシステムではデータの利用目的によってデータストアを使い分けることが多くあります。 例えば、商品情報など構造化されたデータは、ビジネス要件を満たすためにデータを矛盾なく永続化する必要があるため、MySQL などのリレーショナル・データベースに保存されます。 また、更新や参照トラフィックが多くデータ数も多いゲームやモバイルアプリケー
はじめての Elasticsearch - Qiita
この記事は全文検索エンジン「Elasticsearch」の入門チュートリアルです。 Elasticsearch とは Elasticsearch は Elastic 社が開発しているオープンソースの全文検索エンジンです。 大量のドキュメントから目的の単語を含むドキュメントを高速に抽出することができます。 Elasticsearch では RESTful インターフェースを使って操作しますが、「Elasticsearch SQL」を使って SQL 文でクエリを記述することもできます。 Oracle や MySQL などのリレーショナルデータベースに慣れている人にとっては、最初はとっつきにくいと感じるかもしれません。 しかし、Elasticsearch の API はとてもシンプルなので、心配しなくても大丈夫です。 Elastic Stack とは Elastic Stack は Elasti
AWS News Blog
New — File Release for Amazon FSx for Lustre Amazon FSx for Lustre provides fully managed shared storage with the scalability and high performance of the open-source Lustre file systems to support your Linux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute
Elasticsearch for Hackadoll
プラットフォームで実現する社会 ソニーセミコンダクタソリューションズ株式会社 システムソリューション事業部 統括課長 箭内 俊介iotcomjpadmin
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
リクルート流Elasticsearchの使い方
GitHub - kakakakakku/elasticsearch-hands-on: Elasticsearch study materials for beginners 🌵
