Kibana3を環境構築だけで終わらせない(後編) - Qiita
Help us understand the problem. What is going on with this article? まえがき この記事は前記事の後編となります。 環境構築は少し面倒なので、とっかかりにくいところがあるかなと思っていたところ、 Kibana3にはデモサイトがあったことにいまさら気づきました。 インストールが面倒という理由でKibana3に触れていないかたは、ぜひデモを触ってみてください。 また、Kibana3についてはまだ公式のドキュメントが用意されているわけではなさそうです。 私の記事も探り探り書いていることばかりなので、間違いなどがあればご指摘ください。 インストール時点で用意されているダッシュボード Kibana3はインストールした時点で、以下の4つのダッシュボードを持っています。 Logstash Dashboard(Logstashスタイルのログ
Kibanaのダッシュボード設定を動的生成してみる
インフラ担当の池田（@mikeda）です。 最近、Kibanaでアクセスログの可視化をやってみてるのですが、手でダッシュボードいじるのがダルいです。 例えばうちの場合はサーバクラスタ、顧客アカウントごとのアクセスを見たい場合が多く、その条件を毎回指定するのがめんどくさい。 ここを動的に生成できないかな、と思って調べてみました。 イメージとしては、 内部管理画面にクラスタ/顧客アカウントの一覧があるのでそこにKibanaのリンクを設置して、 クリックすると適切に設定されたKibanaに飛ぶ、 という感じです。 Kibanaのソースコードやドキュメントはぜんぜん読んでないのですが（すませんｗ）、UIをポチポチ触ってるととりあえず以下の2つの方法でなんとかできそうでした。 Kibanaサーバに設定ファイル配置 ElasticSearchに設定突っ込んでリダイレクト Kibanaサーバに設定ファイ
Kibana向けFluentd設定例①アクセスログ可視化 - ほわいとぼーど
どちらかというとFluentdの設定の話なのですが、 Kibana上でデータを扱うことも考慮して、くらいの感じで。 アクセスログの可視化はよくあるやつなので細かい所は飛ばします。 1段目：ログ収集先からの転送設定 <source> type tail path /path/to/apache_access.log format /(?<message>.*)/ pos_file /var/log/td-agent/apache_access.pos tag apache.access.HOSTNAME </source> <match **> type forward flush_interval 1s <server> host FORWARD_HOST </server> </match>以前の記事ではin_tailにパースを書いていましたが、 パラメータが増減するのに毎回対応したり、
Vagrantだけあればいい、5分でできるElasticsearch,Fluentd,Kibanaのお試し環境構築 - Qiita
注意:この記事の最新版があります 新しいバージョンのElasticsearch,Kibanaを試したい方は、こちらの記事を参照してください。 (2014/8時点の最新版で作る)Vagrantだけあればいい、5分でできるElasticsearch,Fluentd,Kibanaのお試し環境構築 背景 以前Kibanaについて書いた記事がいくつかありますが、Elasticsearchが1.0になったり、KibanaがいつのまにかElasticsearchの一部になっていたりと、ここ半年ぐらいでも、いろいろと変化がありました。 環境構築についても書いたことがありますが、その際はVMを3台使用するような構成だったので、ちょっと試してみるには重たい内容でした。 この記事では最新のElasticsearch環境を構築し、ApacheのアクセスログをFluentd(td-agent)経由でElastics
ログ収集について（kibana、elasticsearch、logstash、Fluentd、Apache Flume、Splunk） - ぺーぺーSEのブログ
Kibanaというツールがきっかけでちょいとメモ。 Kibana入門 https://speakerdeck.com/y310/kibanaru-men これまでもElasticSearchというのが流行ってたりとか Splunkっていうツールを小耳にはさんだりとかで 「ログ収集・分析」みたいな分野は気になっていた。 Fluentd + ElasticSearch + Kibana この組合せ、流行ってるみたいね。 ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ http://www.slideshare.net/y-ken/elasticsearch-kibnana-fluentd-management-tips fluentd + elasticsearch + Kibanaでログのヴィジュアル化 http://open-groov
Free Alternative to Splunk Using Fluentd | Fluentd
Please provide a valid email address and we will send you a copy of the Fluentd Documentation PDF immediately. Email Download Splunk is a great tool for searching logs, but its high cost makes it prohibitive for many teams. In this article, we present a free and open source alternative to Splunk by combining three open source projects: Elasticsearch, Kibana, and Fluentd. Elasticsearch is an open
FortiGateのsyslogをパースするFluentdのプラグインを作った。 – Aimless
勢いだけで、FortiGateのsyslogをパースするためのFluentdプラグインを作りました。fluent-plugin-fortigate-traffic-logです。（命名センスなし） 「ファイアウォールの通信ログを気軽に分析できれば、ユーザへの提案に繋がる何かが生まれそうだなー」と思い、FortiGateのsyslogをFluentd+Elastic Search+kibana3の組み合わせに乗せるべく試行錯誤した結果です。当初は普通のTailインプットプラグインでサポートされている正規表現で頑張るつもりでしたが、FortiGateのsyslogのフォーマットが一定でなかったため、カスタムパーサを作った次第です。 このプラグインでFortiGateのsyslogファイルをインプットして、elasticsearchへアウトプットすると、下図のような形で格納されます。 kibana
Fluentd+Elasticsearch+Kibana構成で便利な、logstash形式インデックスの粒度をカスタマイズする方法 - Y-Ken Studio
fluent-plugin-elasticsearchやKibanaのデフォルトであるlogstash形式では、年月日毎にインデックスを作成されて使われることを想定されています。 これは扱いやすいのですが万能では無く、次のような状況ではパフォーマンス的な観点で、このインデックスの粒度を変更することを検討すると良いケースがあります。 粒度を細かくしたいケース（時間単位） 日毎のインデックス作成では、elasticsearchに割り当てたメモリ量を超えてしまう 粒度を荒くしたいケース（週単位/月単位/年単位） 日毎のインデックス作成では容量が小さく、日常的に検索する範囲が複数のインデックスに渡るとき Kibanaは年月日以外の粒度（時間・日・週・月・年）にも対応していますので、変更することも容易です。これは次の2つの設定変更で適用できます。 ログ収集を行うElasticsearchへ流し込む、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ