Kibana3を環境構築だけで終わらせない(後編) - Qiita
Help us understand the problem. What is going on with this article? まえがき この記事は前記事の後編となります。 環境構築は少し面倒なので、とっかかりにくいところがあるかなと思っていたところ、 Kibana3にはデモサイトがあったことにいまさら気づきました。 インストールが面倒という理由でKibana3に触れていないかたは、ぜひデモを触ってみてください。 また、Kibana3についてはまだ公式のドキュメントが用意されているわけではなさそうです。 私の記事も探り探り書いていることばかりなので、間違いなどがあればご指摘ください。 インストール時点で用意されているダッシュボード Kibana3はインストールした時点で、以下の4つのダッシュボードを持っています。 Logstash Dashboard(Logstashスタイルのログ
Kibanaのダッシュボード設定を動的生成してみる
インフラ担当の池田（@mikeda）です。 最近、Kibanaでアクセスログの可視化をやってみてるのですが、手でダッシュボードいじるのがダルいです。 例えばうちの場合はサーバクラスタ、顧客アカウントごとのアクセスを見たい場合が多く、その条件を毎回指定するのがめんどくさい。 ここを動的に生成できないかな、と思って調べてみました。 イメージとしては、 内部管理画面にクラスタ/顧客アカウントの一覧があるのでそこにKibanaのリンクを設置して、 クリックすると適切に設定されたKibanaに飛ぶ、 という感じです。 Kibanaのソースコードやドキュメントはぜんぜん読んでないのですが（すませんｗ）、UIをポチポチ触ってるととりあえず以下の2つの方法でなんとかできそうでした。 Kibanaサーバに設定ファイル配置 ElasticSearchに設定突っ込んでリダイレクト Kibanaサーバに設定ファイ
Kibana向けFluentd設定例①アクセスログ可視化 - ほわいとぼーど
どちらかというとFluentdの設定の話なのですが、 Kibana上でデータを扱うことも考慮して、くらいの感じで。 アクセスログの可視化はよくあるやつなので細かい所は飛ばします。 1段目：ログ収集先からの転送設定 <source> type tail path /path/to/apache_access.log format /(?<message>.*)/ pos_file /var/log/td-agent/apache_access.pos tag apache.access.HOSTNAME </source> <match **> type forward flush_interval 1s <server> host FORWARD_HOST </server> </match>以前の記事ではin_tailにパースを書いていましたが、 パラメータが増減するのに毎回対応したり、
Vagrantだけあればいい、5分でできるElasticsearch,Fluentd,Kibanaのお試し環境構築 - Qiita
注意:この記事の最新版があります 新しいバージョンのElasticsearch,Kibanaを試したい方は、こちらの記事を参照してください。 (2014/8時点の最新版で作る)Vagrantだけあればいい、5分でできるElasticsearch,Fluentd,Kibanaのお試し環境構築 背景 以前Kibanaについて書いた記事がいくつかありますが、Elasticsearchが1.0になったり、KibanaがいつのまにかElasticsearchの一部になっていたりと、ここ半年ぐらいでも、いろいろと変化がありました。 環境構築についても書いたことがありますが、その際はVMを3台使用するような構成だったので、ちょっと試してみるには重たい内容でした。 この記事では最新のElasticsearch環境を構築し、ApacheのアクセスログをFluentd(td-agent)経由でElastics
ログ収集について（kibana、elasticsearch、logstash、Fluentd、Apache Flume、Splunk） - ぺーぺーSEのブログ
Kibanaというツールがきっかけでちょいとメモ。 Kibana入門 https://speakerdeck.com/y310/kibanaru-men これまでもElasticSearchというのが流行ってたりとか Splunkっていうツールを小耳にはさんだりとかで 「ログ収集・分析」みたいな分野は気になっていた。 Fluentd + ElasticSearch + Kibana この組合せ、流行ってるみたいね。 ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ http://www.slideshare.net/y-ken/elasticsearch-kibnana-fluentd-management-tips fluentd + elasticsearch + Kibanaでログのヴィジュアル化 http://open-groov
Free Alternative to Splunk Using Fluentd | Fluentd
Please provide a valid email address and we will send you a copy of the Fluentd Documentation PDF immediately. Email Download Splunk is a great tool for searching logs, but its high cost makes it prohibitive for many teams. In this article, we present a free and open source alternative to Splunk by combining three open source projects: Elasticsearch, Kibana, and Fluentd. Elasticsearch is an open
FortiGateのsyslogをパースするFluentdのプラグインを作った。 – Aimless
勢いだけで、FortiGateのsyslogをパースするためのFluentdプラグインを作りました。fluent-plugin-fortigate-traffic-logです。（命名センスなし） 「ファイアウォールの通信ログを気軽に分析できれば、ユーザへの提案に繋がる何かが生まれそうだなー」と思い、FortiGateのsyslogをFluentd+Elastic Search+kibana3の組み合わせに乗せるべく試行錯誤した結果です。当初は普通のTailインプットプラグインでサポートされている正規表現で頑張るつもりでしたが、FortiGateのsyslogのフォーマットが一定でなかったため、カスタムパーサを作った次第です。 このプラグインでFortiGateのsyslogファイルをインプットして、elasticsearchへアウトプットすると、下図のような形で格納されます。 kibana
Kibanaってなんじゃ？（kibana3 + elasticsearch + fluentd）
ずんぶん前にKibanaの記事を書きましたが、時がたちKibana3がとても感じがよいと巷で評判なので、再入門してみます。 インデックスサーバー側 準備 インデックスサーバー側のポートは80,22の他に、fluent用に9200番ポートを開けておきます。 また、インデックスは最終的に大きくなるので、容量の大きなストレージに入れておきます。 # yum install xfsprogs httpd java-1.7.0-openjdk -y # mkfs.xfs /dev/xvdf # mount -t xfs /dev/xvdf /mnt/ebs/0 Kibana3のインストール Kibanaはv3になってから、rubyではなくhtmlになりました。DocumentRoot下に置いてhttpdを起動するだけでOKです。 # cd /var/www/ # curl -OL http://do
Fluentd+Elasticsearch+Kibana構成で便利な、logstash形式インデックスの粒度をカスタマイズする方法 - Y-Ken Studio
fluent-plugin-elasticsearchやKibanaのデフォルトであるlogstash形式では、年月日毎にインデックスを作成されて使われることを想定されています。 これは扱いやすいのですが万能では無く、次のような状況ではパフォーマンス的な観点で、このインデックスの粒度を変更することを検討すると良いケースがあります。 粒度を細かくしたいケース（時間単位） 日毎のインデックス作成では、elasticsearchに割り当てたメモリ量を超えてしまう 粒度を荒くしたいケース（週単位/月単位/年単位） 日毎のインデックス作成では容量が小さく、日常的に検索する範囲が複数のインデックスに渡るとき Kibanaは年月日以外の粒度（時間・日・週・月・年）にも対応していますので、変更することも容易です。これは次の2つの設定変更で適用できます。 ログ収集を行うElasticsearchへ流し込む、
#elasticsearch #fluentd Apacheのアクセスログをelasticsearchにインポートする : きょうもぼへぼへちゃんがゆく
2013年12月06日 08:13 カテゴリelasticsearchfluentd #elasticsearch #fluentd Apacheのアクセスログをelasticsearchにインポートする Posted by ashibuya0128 No Trackbacks 荒野をゆく。今日も一歩ずつ。 やりたいこと。 過去の大量なアクセスログをfluentdを通じて、elasticsearchにいれたい。 そして最終的にはKibanaでみたいよね！ やること。 サーバとデータのながれ 「Webサーバ」＞「ログ集約サーバ」＞「elasticsearch+kibanaのサーバ」 ログ集約蓄積サーバでは一応、生ログもとっておきます。 ・WebサーバのアクセスログをLTSV形式にする。 ・ログ集約サーバでは、生ログも保存して、将来的にはごにょごにょ計算とかもしたい ・ログ集約サーバからflu
fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora
概要 fluentd でサービスの情報を転送し、Kibana で分析したい これまでの過去データを一度に放り込みたい データの件数が合わない Kibana でエラーが発生する 各種設定を見直すことで対応可能 背景 長い長いミーティングに疲れ、集中力を擦り減らしたアナタは 無意識のうちにブラウザを起動していました。 去年まで勤めていた会社の同僚がシェアした記事が目に止まります。 「fluentd + Elasticsearch + Kibana で今どきのログ分析！」 感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、 満足したアナタは VM を落とし、再び仕事に戻りました。 しばらく経ったある日のこと、ふと気づきます。 「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」 毎度オレオレ管理ペー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
kibanaで使えるlucene query - Qiita
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
Kibana入門