Elasticsearch の位置検索（Geolocation）を学ぶ | DevelopersIO
ども、藤本です。 最近、Elasticsearch を使うプロダクト開発に本格参画し、Elasticsearch を改めて勉強しています。機能レベルで理解していても、要求を実現するためにインデックス構造、クエリを設計・実装するのは難しいですが、それ以上に面白い！今回は位置検索について調べたことをまとめました。 概要 GPS 対応デバイスの普及に伴い、位置情報による検索は多くのシステムに必要となってきました。例えば、お腹すいた時に現在地から近い食事処を検索します。ただ位置情報で検索できればいいわけではなく、定食屋、焼肉屋、カレー屋などカテゴリで絞りたいですし、今現在オープンしているお店だけに絞りたいですし、近さとともに食事処の評価・スコアを踏まえてソートして欲しいです。ユーザーはワガママです。 著名な RDB でも位置情報の検索にも対応しています。例えば、MySQL では、geometry型
Elasticsearchとkuromojiでちゃんとした日本語全文検索をやるメモ | GMOメディア エンジニアブログ
技術推進室の浅井です。Elasticsearchで日本語全文検索をちゃんとやるための説明、日本語でちゃんと書かれているものが無くて少々困ったので、ちゃんと書いてみます。 Elasticsearchのインストール※ 2013/12/17 13:30 インストールするJDKのバージョンを7u45から7u25に変更 ※ 2013/12/17 12:50 JDKのバージョンについての説明を追記 @johtani さん指摘ありがとうございます この記事内の説明でOracle JDK 7u45をインストールしていましたが、Apache Luceneが7u45を推奨していないため、7u25をインストールしたほうが良いようです。（後ほど記事内の説明も修正します 修正しました） http://lucene.472066.n3.nabble.com/What-is-recommended-version-of
Elasticsearch マッピング
Elasticsearch におけるマッピングとは、リレーショナルDBでいうところのテーブル定義に相当します。しかし、単にデータを格納する為のフィールドを用意して型を設定するだけではありません。Elasticsearch では、フィールドの型の他に言語解析処理などのドキュメントを検索可能にする為の各種設定が可能です。 スキーマーレスが一つの特徴の Elasticsearch では、ドキュメントをインデックスすると自動的に各フィールド毎にフィールドタイプなどのマッピングが自動で設定されインデックスが作成されます。また、事前にマッピングを設定可能な仕組みとなっています。 自動マッピングまずは以下の内容で、インデックスを作成し自動マッピングについて見て行きます。 ブログ記事毎に１つのドキュメントをインデックス各ドキュメントはドキュメントタイプ story にインデックスドキュメントタイプ sto
csvを読んでelasticsearchのバルクインサート用のjsonに整形する - Qiita
elasticsearchにバルクインサートする時、 データのjson1行につきコマンドのjsonを1行追加しないとならないので。 see also: http://blog.johtani.info/blog/2014/04/24/usage-stream2es/ stream2es だと一気に登録までしてしまうので、 変換の時点で一度確認したかったので書いてみた。 中身は 1行目にヘッダ。 それ以降がデータ。 エスケープなどはRFC4180 っぽい感じ。 "item_id","title","description","price","url","image_url" "11111","たいとる","でぃすくりぷしょん","1000","http://example.com/item/11111","http://example.com/11111.jpg" "22222","たいとる
Elasticsearch で位置情報を検索する手順 - Qiita
Elasticsearch は、オープンソースの全文検索エンジンです。Apache Solr と並んでよく取り上げられるようになってきました。 位置情報の検索機能も標準搭載しているとのことで、試しに使ってみました。 Elasticsearch の導入 下の情報が大変参考になりました。(環境は Mac。事前に Java と homebrew の導入が必要です） elasticsearch - ElasitcSearch ことはじめ - Qiita [キータ] 試しに使ってみる 下のサイトが大変参考なりました。 Elasticsearch を試してみる - ようへいの日々精進 位置情報を検索してみる 下のようなスキーマのデータを登録して検索する想定です。
ElasticsearchをUbuntu 14.04にインストールする - Qiita
Elasticsearch をインストールする 参考:Repositories インストール方法は、上記の公式ドキュメントに丁寧に書かれているが、ここでは主要な手順だけを抜き出してみます。 リポジトリを登録する $ wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - $ echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list
Elasticsearchチュートリアル - 不可視点
目的 検索用サーバーとして最近注目されているElasticsearchですが、ついに1.0 RC1がリリースされたそうです。 Googleトレンドを見ても、この分野で先行するApache Solrに迫る勢いを感じます。 そういうわけで私もElasticsearchについて興味を持って調べてみましたが情報がちょっと少ないですね… 「調べたけど断片的な情報しかない」 「公式doc英語だし、専門用語が多すぎてわからん」 「え、できること多すぎ。よくわからん。どれが重要？」 と言った感じで、最初ちょっと大変… そこで調べ始める人が、概観をつかむためのチュートリアルをつくろうと思います。 コマンドを全部実行する必要ありません。用語をおさえることで調べものが捗ることがひとつのゴールです。 自分の理解の整理も兼ねています。間違ってる箇所あったら教えて下さい。 part 1:ESを使ってレストラン検索を作
Elasticsearch 1.5をUbuntu 14.04にインストールしたときのメモ - Technically, technophobic.
www.elastic.co Javaをインストール 参考：Running As a Service on Linux OpenJDKでも動くっぽいですが、ドキュメントにはOracle Javaを入れるようにとの指示があったので大人しく従うことにします。でもなんかダウンロード遅い気がするので、サクッと試したいだけならsudo apt-get install openjdk-7-jdkとかするのがいいと思います。 sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java7-installer java -version Elasticsearchをインストール 参考：Repositories レポジトリを追加します。この辺のやり方は、ここに書いたのは古くな
ローカル環境のWindowsにElasticsearchをインストール - Qiita
ローカル環境のWindows(7)にElasticsearchをインストールしてみたのでメモ。 Windows 7 Home Premium SP1 Elasticsearch 1.5.2 elasticsearch-head Marvel (Sense) Kuromoji 2.5.0 Java (jPortable) 8 ※ 個人的にすべてDropboxに入れてポータブルっぽくしたのでjPortableを使用 Javaのインストール（入っていなければ） PortableApps.comのjPortable 64-bitをダウンロードしてインストール（解凍）。 （64bit版はダウンロードページ下段） インストール先の参考として以下のフォルダへ。 Javaのパスを通す スタート > コンピュータ を右クリックし、プロパティを開く。 システムの詳細設定(左側のメニュー内)を開き、環境変数(N
Elasticsearchのローカル環境構築メモ - Qiita
前提条件 javaがインストールされていること Elasticsearchをダウンロード 今回はバージョン1.7.1を使用しました。 Elasticsearchをサービス登録＆起動 コマンドプロンプトを開き、Elasticsearchを保存したフォルダに移動し 下記のコマンドを実行 例） D:\Program Files\elasticsearch\bin\service install 上記のコマンドでサービス登録が完了します。 起動する際は管理ツールのサービスから起動できます。 サービスの起動に失敗する場合は、Javaのパスとポート「9200」が使用済みではないか確認してください。 下記コマンドプロンプトから起動する場合 例） D:/Program Files/elasticsearch/bin start セットアップ関連コマンドはこちらから確認できます。 起動が完了したら、ブラウザ
Elasticsearchにfluentdする設定とかlabelの話 - ほわいとぼーど
といっても設定はさほど難しくないです。 収集箇所から直接送信する場合はコチラを参照するとよさそうな感じ。 自分の場合、収集箇所と集計サーバ両方にtd-agent入れてて、 収集箇所はtail_exとforward、集計サーバで集計してgrowthforecastに投げてたり、 今回の場合、後からElasticsearch設定追加したりしてます。 本番でgrowthforecastとElasticsearchを同じサーバに入れないと思うけど、 今はテスト環境ということで。 以下は送信側設定。 <source> type tail_ex format /(正規表現)/ path /path/to/apache.log.%Y%m%d tag apache.${HOSTNAME} pos_file /path/to/apache.pos </source> <match apache.*> typ
Fluentd、ElasticSearch、Kibana4によるログ分析環境の構築 - hrendoh's tech memo
現在、ログを収集し分析するシステムを構築しようとした場合に、オープンソースの組み合わせですぐに始められる構成としてはじめに思いつくのは Fluentd + ElasticSearch + Kibana の構成です。 Web上の記事や書籍も充実していますし、日本にもユーザーが多そうなので割と安心して利用できる環境でもあると思われます。 この記事では、Fluendによりログ収集しElasticSearchに保存し、それをKibana 4で分析する環境の構築手順について調べた内容をまとめてみました。 今回試したのは以下のように、Apacheのアクセスログをtailして、Fluentdで収集しElasticSearchに保存、Kibanaでログの検索、分析を行うシンプルなシステム構成です Apacheのログを収集するサーバーおよびElasticSearch、Kibanaをインストールするサーバーと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
雪うさぎの夢: Proxyサーバーを経由する環境での、elasticsearch、fluentd 導入
Adding mapping to a type from Java - how do I do it?
ElasticsearchにMySQLからデータ挿入、JDBC River Pluginのインストールと使い方
CentOS6にElasticsearchをインストールしMySQLからデータをインポート