ハッカドールにおけるElasticsearch利用法について発表しました - mosa_siru’s blog
DeNA社内でのElasticsearch勉強会にて、アプリ「ハッカドール」におけるElasitcsearch利用法について発表してきました。 スライドはこちら。 Elasticsearch for Hackadoll from mosa siru Elasitcsearchの中身や運用について濃く触れるというよりは、ちゃんとした検索エンジン作るための泥臭い話がメインになっています。 （ある意味で昨年Tokyo WebMiningにて発表した捗るリコメンドシステムの裏事情（ハッカドール）の派生スライドです。） ハッカドールは1周年を迎え、来月にはアニメ化もされます。ニュースアプリがアニメ化とか開発者としてもどうなるか予想がつきませんが、放映時には全裸待機しようと思います！ hackadoll-anime.com
Kibana4
第7回Elasticsearch勉強会の発表資料 http://elasticsearch.doorkeeper.jp/events/16837
ElasticHQ - Elasticsearch Management and Monitoring
ElasticHQ is an open source application that offers a simplified interface for managing and monitoring Elasticsearch clusters. Real-Time Monitoring From monitoring individual cluster nodes, to viewing real-time threads, ElasticHQ enables insight in to ElasticSearch cluster runtime metrics and configurations. ElasticHQ's websocket data streams keep you up-to-date with the internals of your working
データ可視化に便利なkibanaは、elasticsearchのプラグインとして構成すると便利 #Fluentd - Y-Ken Studio
Fluentdなどから収集したメッセージをelasticsearchへ格納してKibanaで可視化するソリューションは素晴らしく、とても人気があります。次の画像のように見栄えが良いことも特徴です。 このダッシュボードアプリであるKibanaはJavaScriptアプリケーションです。そのため静的ファイルを配置すればどこでも動きます。 しかしそれだけのためにApacheやNginxなどのWEBサーバを新たに起ち上げるのは手間ですよね。 実は新たに起ち上げない方法もあるのです。こんな時に役立つTipsを紹介します。 elasticsearchのsiteプラグイン siteプラグインは、ウェブベースのインターフェースを提供するものです。 elasticsearchの挙動へ変更を加えるものではないため、サービス停止(再起動)を行わずにインストール・アップデート・アンインストールができます。 モニタ
「関連する○○」機能を手軽に実現できる。そう、Elasticsearch ならね。 - クックパッド開発者ブログ
セコン (id:secondlife, @hotchpotch) です。ウェブサービスにはよく「このエントリーに関連するブログ記事」や「このレシピに関連するレシピ」という機能が実現されてますよね。さて、この機能はどのように実現すれば良いでしょうか。例えば tf-idf で単語の類似度を求め…といった実装が必要になり、いささか面倒です。 しかしながら Elasticsearch や Solr *1を使うと手軽に実現できます。例えば、クックパッドニュースの記事では Solr を使い「この記事を読んだ人におすすめ」の機能に、最近クックパッドにジョインしたインドネシアの会社の DapurMasak では Elasticsearch を使い「Resep serupa(関連レシピ)」の機能で利用しています。 クックパッドニュースでのこの記事を読んだ人におすすめ DapurMasak での関連レシピ 使
fluentdでnginxのログをElasticsearchとBigQueryに保存するお話 - ハウテレビジョンブログ
こんにちは。夏休みに長野に行って居酒屋で馬刺しをたらふく食べていたら 地元のおっさん人生の大先輩の絡み酒に付き合わされた祖山です。 4月に入社して以降、サーバサイドのWeb開発やスクラムの導入、サイト内検索の改善など様々な業務に 取り組んでいますが、最近の大きな案件としては、アクセスログ解析基盤の整備がありました。 nginxのアクセスログを分析しやすい環境を作るため、ElasticsearchとBigQueryにログを蓄積し始めたのですが、 その際に一番のキモとなるのは、みんな大好きfluentdです。 今回は、我々ハウテレビジョンがどのようにアクセスログを収集、保存しているのかについて、fluentdの設定を中心にご紹介します。 アクセスログ収集の目的 現在の我々のサービス環境を考慮すると、アクセスログの収集には下記2つの目的が存在します。 アクセス情報をもとにユーザーの行動を解析 閲
9 Tips on ElasticSearch Configuration for High Performance
The Loggly service utilizes Elasticsearch (ES) as the search engine underneath a lot of our core functionality. As Jon Gifford explained in his recent post on Elasticsearch vs Solr, log management imposes some tough requirements on search technology. To boil it down, it must be able to: Reliably perform near real-time indexing at huge scale – in our case, more than 100,000 log events per second Si
Elasticsearch + Kibanaを起動するDockerfileを書いてみた - hidemium's blog
前回、sensuでDockerコンテナを監視することができたため、今回はDockerコンテナの監視を可視化するための前段階として、最近注目されているサーチエンジンであるElasticsearchを起動するDockerfileを書いてみました。また、Elasticsearchのフロントエンドを提供するKibanaも合わせてインストールします。 構成 Ubuntu 12.04: サーバ構築対象 ※Ubuntu 12.04はDocker 1.0.0上で動作しています。 Dockerfile Dockerfileの構成 Dockerfileの構成は以下の通りです。 elasticsearch ├──Dockerfile ├──id_rsa.pub ... 公開鍵 ├──sources.list ... ミラーサイト一覧 ├──config.js ... Kibanaの定義ファイル ├──defau
ElasticSearch Serverを読んだ - ✘╹◡╹✘
高速スケーラブル検索エンジン ElasticSearch Server (アスキー書籍) 作者: Ｒａｆａｌ Ｋｕｃ （ｌにストローク符号、ｃにアクサン・テギュ付く）,Ｍａｒｅｋ Ｒｏｇｏｚｉｎｓｋｉ （ｎにアクサン・テギュ付く）出版社/メーカー: KADOKAWA / アスキー・メディアワークス発売日: 2014/03/25メディア: Kindle版この商品を含むブログを見る 高速スケーラブル検索エンジン ElasticSearch Server という本を読んだ。読んだ理由は、タイミングが良かったから。効率的に学ぶのに丁度いい時機というものがあると思う。何かを学ぶのには動機と情報源が必要。動機が無ければ勉学は長続きしないし、無理矢理覚えようとしても楽しくない。Elasticsearchに対しては何か面白そうという気持ちを最近少しだけ感じていて、こういう気持ちが湧くのは貴重なことだから大
高速スケーラブル検索エンジン ElasticSearch Server
高速スケーラブル検索エンジン ElasticSearch Server Rafal Kuc, Marek Rogozinski, 大岩達也(翻訳), 大谷純(翻訳), 兼山元太(翻訳), 水戸祐介(翻訳), 守谷純之介(翻訳), 株式会社リクルートテクノロジーズ(監修) KADOKAWA/アスキー・メディアワークス 3,080円 (2,800円+税) 高速、スケーラブル、柔軟性のある検索ソリューションを実現！ Apache Solrを超える全文検索エンジンとして注目を集めるElasticSearch Serverの日本初の解説書です。多くのサンプルを用いた実践的入門書になっています。 関連サイト本書の関連ページが用意されています。 ElasticSearch Server内容紹介本書は、ElasticSearchの一般的な紹介から始めて、ElasticSearchサーバをどのように実行する
fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora
概要 fluentd でサービスの情報を転送し、Kibana で分析したい これまでの過去データを一度に放り込みたい データの件数が合わない Kibana でエラーが発生する 各種設定を見直すことで対応可能 背景 長い長いミーティングに疲れ、集中力を擦り減らしたアナタは 無意識のうちにブラウザを起動していました。 去年まで勤めていた会社の同僚がシェアした記事が目に止まります。 「fluentd + Elasticsearch + Kibana で今どきのログ分析！」 感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、 満足したアナタは VM を落とし、再び仕事に戻りました。 しばらく経ったある日のこと、ふと気づきます。 「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」 毎度オレオレ管理ペー
Stack Overflowのアーキテクチャ - ワザノバ | wazanova
http://www.youtube.com/watch?v=OGi8FT2j8hE1 comment | 0 pointsドイツのハンブルグで開催されたDeveloper Conference 2013で、Stack Overflowのアーキテクチャが紹介されてます。 Stack Overflowのネットワークは、110 Q&Aサイト、430万ユーザ、質問760万件、回答1360万件、月間5億6千万ページビュー サーバ25台: ウェブサーバ11台（内9台でほぼトラフィックさばく）、ロードバランサ1台 (+ 予備1台)、DBノード4台、アプリサーバ3台、検索サーバ3台（Elasticsearch）、Redisサーバ２台（キャッシュ、メッセージング） 毎秒質問が投稿されているので、トップページには都度最新の質問を掲載するように更新はできないが、ユーザの回答パターン、質問閲覧パターン、好みのタ
How To Interact with Data in ElasticSearch Using CRUD Operations | DigitalOcean
// Tutorial //How To Interact with Data in ElasticSearch Using CRUD Operations Status: Deprecated This article covers a version of Ubuntu that is no longer supported. If you are currently operate a server running Ubuntu 12.04, we highly recommend upgrading or migrating to a supported version of Ubuntu: Upgrade to Ubuntu 14.04. Upgrade from Ubuntu 14.04 to Ubuntu 16.04 Migrate the server data to a
簡単！Vagrant+Docker+td-agent+Elasticsearch+Kibanaで流行に乗ろう - As a Futurist...
Fluentd Advent Calendar 2013に登録したものの、そういえば 1 年位全く fluentd に触ってなかったので、リハビリも兼ねて最近バージョンアップで導入された Vagrant の Docker provisioner を使って、ES+Kibana に流すとこまでを作ってみた。実用性には乏しい。 riywo/vagrant-docker-td-es-kibana-sample 以下解説。 Vagrantfile localhost から port forwarding で box の同じポートに接続させてる。さらに box の中で Docker が走っていて、Docker provisoner でコンテナを起動する時に、port redirect させているので、クライアントからダイレクトにコンテナと会話ができるようになっている。 ES と Kibana はarc
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
excale.net