UPDATE: fluent-plugin-config-expander and fluent-plugin-forest - たごもりすメモ
先日 fluent-plugin-forest を書いたあとpatchをもらって __HOSTNAME__ というプレースホルダをサポートしたりしてた。 で、こないだ config-expander を書いたときに「ホスト名を置換できるプレースホルダを組込みで入れようかな？ まあ out_forest あるしいいか……」と思ってスルーしてた、が、forestはoutput pluginにしか使えなくて残念だなーということをこのblogエントリを見て思ったのでした。 fluentdで自ホスト名を自動でタグにするの巻 - アルパカDiary ということで、config_expander でも __HOSTNAME__ というプレースホルダを展開できるようにしてみた。 ついでにtwitter上で見掛けた「__hoge__ より ${bar} なプレースホルダの方がいい」という意見を取り入れまして
#fluentd fluentd＋fluent-plugin-datacounterでログの可視化が便利すぎてもう死ぬしか無い - oranie's blog
みんな大好きfluentdネタです。というか、fluentd＋fluent-plugin-datacounterが最強過ぎる。 便利すぎて生きているのが辛いどころか死ぬしか無いくらい。 ※そもそもfluentdって何？って人は前のエントリとか読んでみて下さい。 まだ障害発生時の動きとか自分の環境での性能測定とか検証やっていなくてエンジニア的にあれですが。 でも、性能測定とかはhttp://d.hatena.ne.jp/tagomoris/を見ることで充分かなと、えへへ。 今までログの解析は日次で収集していた物をバッチ処理してMySQLにぶち込み、 それをゴニョゴニョして見ていたけど、これがストリーミングで可視化まで一気に出来る。 今の所着手したのはこんな感じ。 Apacheログ関連 とりあえず、ステータスコードとレスポンスタイムをCactiで可視化した。こんな感じ。 ※datacounte
Perl から Fluentd にログ出力 - Fluent::Logger リリース - 酒日記 はてな支店
皆さん、ログ書いてますか！？(挨拶) Fluentd meetup in Japan も開催間近、最近大変熱いイベントログ収集システム Fluentd なわけですが、Perl からログを出力する Fluent::Logger というモジュールを CPAN にリリースしたのでお知らせします。 (最初の版は id:hirose31 さんが書かれて、それに同僚の id:shin1rosei と手を加えたものです) インストールは cpanm などでどうぞ。使い方は POD にもあるように簡単です。 use Fluent::Logger; my $logger = Fluent::Logger->new( host => "127.0.0.1", port => 24224 ); $logger->post( "myapp.info" => { foo => "bar" } ); 上記の例で送信す
Introduction of 'fluentd'
Introduction of ’fluentd’ — Presentation Transcript Introduction of ‘fluentd’@just_do_neet 1 Today’s Agenda•Backgrounds and Motivations•Introduction of ‘fluentd’•Real cases and Demos•Conclusion 2 Backgrounds and Motivations 3 Log analysis in the ‘not rare’ services•Analysis processing is done once every day. •Collect logs from multiple servers. (ex. rsync/scp/etc...) •Analysis of data using collecte
イベントログ収集ツール fluent リリース！ - Blog by Sadayuki Furuhashi
こんにちは。Treasure Data の古橋です^^; 先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました！ Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 Twitterでも話題沸騰中です：イベントログ収集ツール #fluent 周りの最近の話題 背景 「ログの解析」は、Webサービスの品質向上のために非常に重要です。Apacheのアクセスログだけに限らず、アプリケーションからユーザの性別や年齢などの詳しい情報を集め
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluentd を使った大規模ウェブサービスのロギング - 2nd life (移転しました)
http://dl.dropbox.com/u/224433/kamakura_pm_2/index.html
fluentd を利用した大規模ウェブサービスのロギング
fluent + mongodb + node.js でwebアクセスの準リアルタイム解析 | Day After Neet