Kibana向けFluentd設定例①アクセスログ可視化 - ほわいとぼーど
どちらかというとFluentdの設定の話なのですが、 Kibana上でデータを扱うことも考慮して、くらいの感じで。 アクセスログの可視化はよくあるやつなので細かい所は飛ばします。 1段目：ログ収集先からの転送設定 <source> type tail path /path/to/apache_access.log format /(?<message>.*)/ pos_file /var/log/td-agent/apache_access.pos tag apache.access.HOSTNAME </source> <match **> type forward flush_interval 1s <server> host FORWARD_HOST </server> </match>以前の記事ではin_tailにパースを書いていましたが、 パラメータが増減するのに毎回対応したり、
ログ収集について（kibana、elasticsearch、logstash、Fluentd、Apache Flume、Splunk） - ぺーぺーSEのブログ
Kibanaというツールがきっかけでちょいとメモ。 Kibana入門 https://speakerdeck.com/y310/kibanaru-men これまでもElasticSearchというのが流行ってたりとか Splunkっていうツールを小耳にはさんだりとかで 「ログ収集・分析」みたいな分野は気になっていた。 Fluentd + ElasticSearch + Kibana この組合せ、流行ってるみたいね。 ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ http://www.slideshare.net/y-ken/elasticsearch-kibnana-fluentd-management-tips fluentd + elasticsearch + Kibanaでログのヴィジュアル化 http://open-groov
FortiGateのsyslogをパースするFluentdのプラグインを作った。 – Aimless
勢いだけで、FortiGateのsyslogをパースするためのFluentdプラグインを作りました。fluent-plugin-fortigate-traffic-logです。（命名センスなし） 「ファイアウォールの通信ログを気軽に分析できれば、ユーザへの提案に繋がる何かが生まれそうだなー」と思い、FortiGateのsyslogをFluentd+Elastic Search+kibana3の組み合わせに乗せるべく試行錯誤した結果です。当初は普通のTailインプットプラグインでサポートされている正規表現で頑張るつもりでしたが、FortiGateのsyslogのフォーマットが一定でなかったため、カスタムパーサを作った次第です。 このプラグインでFortiGateのsyslogファイルをインプットして、elasticsearchへアウトプットすると、下図のような形で格納されます。 kibana
Kibanaってなんじゃ？（kibana3 + elasticsearch + fluentd）
ずんぶん前にKibanaの記事を書きましたが、時がたちKibana3がとても感じがよいと巷で評判なので、再入門してみます。 インデックスサーバー側 準備 インデックスサーバー側のポートは80,22の他に、fluent用に9200番ポートを開けておきます。 また、インデックスは最終的に大きくなるので、容量の大きなストレージに入れておきます。 # yum install xfsprogs httpd java-1.7.0-openjdk -y # mkfs.xfs /dev/xvdf # mount -t xfs /dev/xvdf /mnt/ebs/0 Kibana3のインストール Kibanaはv3になってから、rubyではなくhtmlになりました。DocumentRoot下に置いてhttpdを起動するだけでOKです。 # cd /var/www/ # curl -OL http://do
Fluentd+Elasticsearch+Kibana構成で便利な、logstash形式インデックスの粒度をカスタマイズする方法 - Y-Ken Studio
fluent-plugin-elasticsearchやKibanaのデフォルトであるlogstash形式では、年月日毎にインデックスを作成されて使われることを想定されています。 これは扱いやすいのですが万能では無く、次のような状況ではパフォーマンス的な観点で、このインデックスの粒度を変更することを検討すると良いケースがあります。 粒度を細かくしたいケース（時間単位） 日毎のインデックス作成では、elasticsearchに割り当てたメモリ量を超えてしまう 粒度を荒くしたいケース（週単位/月単位/年単位） 日毎のインデックス作成では容量が小さく、日常的に検索する範囲が複数のインデックスに渡るとき Kibanaは年月日以外の粒度（時間・日・週・月・年）にも対応していますので、変更することも容易です。これは次の2つの設定変更で適用できます。 ログ収集を行うElasticsearchへ流し込む、
#elasticsearch #fluentd Apacheのアクセスログをelasticsearchにインポートする : きょうもぼへぼへちゃんがゆく
2013年12月06日 08:13 カテゴリelasticsearchfluentd #elasticsearch #fluentd Apacheのアクセスログをelasticsearchにインポートする Posted by ashibuya0128 No Trackbacks 荒野をゆく。今日も一歩ずつ。 やりたいこと。 過去の大量なアクセスログをfluentdを通じて、elasticsearchにいれたい。 そして最終的にはKibanaでみたいよね！ やること。 サーバとデータのながれ 「Webサーバ」＞「ログ集約サーバ」＞「elasticsearch+kibanaのサーバ」 ログ集約蓄積サーバでは一応、生ログもとっておきます。 ・WebサーバのアクセスログをLTSV形式にする。 ・ログ集約サーバでは、生ログも保存して、将来的にはごにょごにょ計算とかもしたい ・ログ集約サーバからflu
fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora
概要 fluentd でサービスの情報を転送し、Kibana で分析したい これまでの過去データを一度に放り込みたい データの件数が合わない Kibana でエラーが発生する 各種設定を見直すことで対応可能 背景 長い長いミーティングに疲れ、集中力を擦り減らしたアナタは 無意識のうちにブラウザを起動していました。 去年まで勤めていた会社の同僚がシェアした記事が目に止まります。 「fluentd + Elasticsearch + Kibana で今どきのログ分析！」 感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、 満足したアナタは VM を落とし、再び仕事に戻りました。 しばらく経ったある日のこと、ふと気づきます。 「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」 毎度オレオレ管理ペー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
Kibana入門