Kibana + ElasticSearch + fluentd を試してみた
こんにちは。@jedipunkz です。 自動化の流れを検討する中でログ解析も忘れてはいけないということで ElasticSearch を使いたいなぁとぼんやり考えていて Logstash とか Kibana とかいうキーワードも目 に止まるようになってきました。 ElasticSaerch は API で情報を検索出来たりするので自動化にもってこい。バックエ ンドに Logstash を使って… と思ってたのですが最近よく聞くようになった fluentd をそろそろ真面目に使いたい！ということで、今回は Kibana + ElasticSearch + fluentd の組み合わせでログ解析システムを組む方法をメモしておきます。 参考にさせて頂いた URL http://memocra.blogspot.jp/2013/04/kibanakibanaelasticsearchfluent
第1回ElasticSearch勉強会を開催しました！ #elasticsearchjp
ElasticSearch勉強会 第1回を主催しました。 昨年のpyfesでなんちゃって資料で喋って、1年たちました。 ElasticSearchの書籍（英語）も出てきて、今年はElasticSearchが面白くなりそうだし、使ってる人たちから話も聞きたいなぁということで、主催しました。 思った以上に興味のある方がいらっしゃったようで、100人応募のところ、チケットがすぐ完売してしまうほど。。。 しかも、当日もほぼ満員ということで、大変な盛況ぶりでした。 スピーカーの皆様、参加された皆様、会場を提供していただいたリクルートテクノロジーズさん、ありがとうございました！（たぶん、90人くらいいらっしゃってたかと。） こんなステキな案内板も用意してもらいました。スタッフのみなさんありがとうございます！ トゥギャっても頂きました。まとめていただいてありがとうございます！ 自分の発表や個々の発表に関
apache-loggen + fluentd + elasticsearch + kibana = ログ検索デモ
もう何番煎じだ？ってくらい書かれてますが、コリもせず書いてみました。 Elasticsearch＋Kibanaの環境を作って、タムタムさんのログ生成ツールからApacheのダミーログを流しこんで入れてみました。 参考URL memorycraftさんのブログ Kibana Elasticsearch fluentd apache-loggen インストールと起動 今回はCentOSへのインストールです。 基本的にはmemorycraftさんのブログの流れのままです。 elasticserchのインストールと起動 ダウンロードして、起動するだけ。 お試しということで、-fオプションにてコンソールにログ出力。 curl -OL https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.1.
opensearch/opensearch-1-1-draft-6.md at master · dewitt/opensearch
OpenSearch Version Overview Namespace OpenSearch description document Overview Examples Type Extensibility OpenSearch description elements The OpenSearchDescription element The ShortName element The Description element The Url element Url rel values The Contact element The Tags element The LongName element The Image element The Query element The Developer element The Attribution element The Syndic
Twitter、リアルタイム検索をLuceneで構築。50倍高速に！
Twitterのリアルタイム検索機能が、オープンソースのLuceneベースになったと、Twitter Engineeringブログへのエントリ「Twitter's New Search Architecture」で紹介されています。 これまでTwitterはリアルタイム検索にMySQLベースの独自システムを利用してきましたが、規模の拡大が難しくなってきたため、6カ月前に新システムの構築を決定。オープンソースの検索エンジンであるLuceneを選択したとのことです。 従来の50倍も高速に！ 検索エンジンに対する要件は以下のように非常に厳しいものでした。 Our demands on the new system are immense: With over 1,000 TPS (Tweets/sec) and 12,000 QPS (queries/sec) = over 1 billion
Quicksilverは如何にして鋭い検索を行っているのか？ - ザリガニが見ていた...。
Quicksilverの検索性能が、感性をくすぐってきた。 「apple」→「AppleScript Editor」 「ase」→「AppleScript Editor」 「prol」→「Property List Editor」 「im」と入力して、「Image Capture」を起動したいが、「iMove」がトップヒットになってしまう...。 そんな状況でも、候補リストから2回連続で「Image Capture」を選択すれば、3回目以降は「Image Capture」がトップヒットになる。 直近のユーザーの好みを学習してくれるのだ。 もちろん、「ima」まで入力すれば「Image Capture」がトップヒットになる。 「ase」「prol」のような、単純な前方一致でも、部分一致でもない検索には恐れ入る。しかも、シンプルだけど学習もしてくれる。使うほどに手に馴染んでくる仕組みは、この辺
Google、リッチスニペットでイベントの日時や場所表示に対応
米Googleは2010年1月22日、リンク先ページの詳細情報を検索結果上に表示する「リッチスニペット」で新たにイベント表示に対応した。 「リッチスニペット」(rich snippets)とは、ウェブページ上に埋め込まれた構造化データ（Structured Data）を利用して検索結果の説明文（スニペット）に検索ユーザの情報検索に役立つ情報を表示する機能。たとえば、飲食店の口コミサイトがユーザレビューの件数や平均点数、料理の予算などの情報を表示したり、eコマースサイトが新品／中古の価格を掲載することができる。 2009年5月に実験的にリッチスニペットの運用を開始して以来、同社はこれまで人物プロフィールを表示するpeopleとレビュー情報を表示するreviews、ビデオ検索を改善するためのvideoフォーマットに対応してきた。今回、新たに events フォーマットに対応する。 Events
MySQL InnoDBだけで全文検索 - SH2の日記
実験エントリです。 予習してみる 「転置インデックス」というキーワードで検索して、しばらく勉強してみます。 転置インデックス - Wikipedia mixi Engineers’ Blog » 転置インデックスを実装しよう ASCII.jp：悟空、秘剣「転置インデックス」を手に入れる ｜Googleはなぜ的確に探せるのか？ [を] 転置インデックスによる検索システムを作ってみよう！ 転置インデックスで学ぶ検索エンジンの中身アプリ - 睡眠不足？！ うーんなるほど。分かったような分からないような。 作ってみる とりあえず、Twitter4Jを使ってこんなデータを用意しました。ちなみに人選は漢(オトコ)のコンピュータ道: MySQLerのTwitterアカウントまとめ。を参考にさせていただきました。 5707049458,2009-11-14 20:28:34,sakaik,@hbstudy
Java製のイントラ向け検索エンジン·regain MOONGIFT
インターネットではあれほど検索エンジンを便利に使いながら、社内向けにはあまり活用されていない。どちらかと言えばファイルサーバをディレクトリで管理する、旧来の検索エンジン型で管理しているのではないだろうか。 日本語の検索も可能なイントラ向け検索エンジン 要因は幾つかあるだろうが、検索エンジンの構築が面倒という印象があるのも確かだ。であればregainの手軽さは魅力的にうつるはずだ。 今回紹介するオープンソース・ソフトウェアはregain、Java製の手軽な検索エンジンだ。 regainはJava製の検索エンジンで、regain.jarを実行すればWebサーバも立ち上がってすぐに利用できる。Windows向けにはインストーラーやZipファイルが提供されている。ブラウザで管理画面に入り、検索対象とするディレクトリを指定すればすぐにインデックス化が実行される。 インデックス作成中 検索画面はGoo
ベクトル空間モデル - Wikipedia
ベクトル空間モデルとは情報検索を行うためのアルゴリズムの一つ。ベクトル空間モデルによる検索は高次元のベクトル空間上に配置した検索対象のベクトル表現と検索語のベクトル表現の相関量をコサイン類似度、内積、距離等によって計算して関連度を求める。 メタデータ生成法[編集] 単語文書行列[編集] 単語文書行列とはメタデータの生成・表現法の一つであり、ベクトル空間モデルによる検索を行う際に非常に頻繁に用いられるメタデータの形式である。一般に単語文書行列は以下に示す構造を持つ。 単語文書行列: 文書diに単語tjがn回出現するとき、wijをnとし、行列を形成する。単純に出現回数を利用する以外にtf-idf等のアルゴリズムによって得た重みを用いる生成方法がしばしば行われる。 関連項目[編集] Bag-of-words（英語版） 転置インデックス 最近傍探索
Hadoop、hBaseで構築する大規模分散データ処理システム：CodeZine
はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
MOONGIFT: » Java製のクローリングシステム「InfoCrawler」:オープンソースを毎日紹介
Webサービスを作る上で、外部のデータを取得して何かしたいといったことは良くある。いや、外部に限ったものではない。ローカルのデータであっても取得して、それを検索したいという要望は良くあるものだ。 ユーザ側の検索画面 そうした時にクローラーを自作したりすると思うのだが、robots.txtの解釈や効率的なクローリング法を習得するのは大変なことだ。そこで試してみたいのがこれだ。 今回紹介するオープンソース・ソフトウェアはInfoCrawler、Java製のWebクローラーだ。 InfoCrawlerは設定項目も数多く、クローリングシステムとして優秀なものになると思われる。複数サーバ設置して分散化もできるようだ。HTMLや画像、各種バイナリ等ファイル種別を指定してクローリングを行うか否かを指定できる。 インデックスするファイルを指定する画面 認証が必要なサーバにも対応し、言語によってフィルタリン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【日弁連】 弁護士情報検索
http://www.itarchitect.jp/enterprise/-/25122.html
IBM Developer
Google Code Archive - Long-term storage for Google Code Project Hosting.
Cuil
http://www.tafiti.com/
SEO無料分析ツール Pythagoras(ピタゴラス)
検索エンジン Mooter