稼働中のFluentdにflowcounter pluginを導入してみた
稼働中のFluentdが、時間帯あたりどの程度のトラフィックを捌いているのかをモニタリングしたいな、、と思って色々探していたら、"fluent-plugin-flowcounter"というプラグインがまさにその目的のために作られたプラグインだったので、導入してみました。 以下、備忘録的に。 fluent-plugin-flowcounter Fluentd界では知らない人がいないtagomoris先生作成のプラグインです。 基本的には、streamで流れてきたデータの"count(件数)"ならびに"bytes(データサイズ)"を計測してくれるプラグインです。 詳しくはgithubのREADMEや、tagomoris先生のブログ記事を参照すると良いと思います。 https://github.com/tagomoris/fluent-plugin-flowcounter http://d.ha
fluentd の output plugin のテストのかきかた
fluentd のプラグインのテストで、他のoutputも利用するタイプのプラグインはどうテストするのかなあと思ってしらべてみた。@tagomoris さんの out_forest はちゃんとテストが存在したのでそれを読む事に。 https://github.com/tagomoris/fluent-plugin-forest/blob/master/test/plugin/test_out_forest.rb#L416 まず fluentd のプラグインのテストの書き方から理解していないので理解しなければ、と 公式ドキュメント を読むと: Please see Fluentd’s source code for details. うっ、はい… まず前準備に Fluent::Test.setup を呼ばないといけないっぽい。これ、engine.rb に書いてある所為でgrepしないと見つか
fluentdのプラグインとかユースケースの話 - As a Futurist...
この記事は「ウィークリー Fluentd ユースケースエントリリレー」の一部です。カジュアルに fluentd のプラグイン書いてみた話とリアルタイム監視のよくあるパターンを書いてみます。 groupcounter モヒカン族で有名な tagomoris さんが書かれたdatacounterというプラグインをパクって書きました。ある key に対する value を一定期間カウントしたい時に使います。ユースケースとしては、access log から src IP ごとの件数を毎分数えて、グラフにすると、どの IP からのリクエストがどういう推移をしてるかが観測できます。 riywo/fluent-plugin-groupcounter config はこんな感じ。 <match apache.access> type groupcounter count_interval 5s aggre
fluent-plugin-notifier と fluent-plugin-ikachan の話 - たごもりすメモ
リリースしてはいたものの手元でちゃんと使っていなかったプラグインふたつ、をいよいよちゃんと使いはじめた。そのついで(？)にちゃんとテストを書いたりREADMEを書いたりしたので、せっかくだからここにも書いておく。 fluent-plugin-notifier Fluentdで流通するメッセージを相手に数値範囲や文字列検査(正規表現)により異常を検出しアラート(を示すメッセージ)を出してやろう、というプラグイン。 tagomoris/fluent-plugin-notifier · GitHub fluent-plugin-notifier | RubyGems.org | your community gem host 使いかたはたぶん例を見ればわかる……んじゃないかなー。こんな。 <match apache.log.**> type notifier <def> pattern apac
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluent-agent-lite と fluentd agent の比較(1) 〜 Haikanko OSS化への道(2) : sonots:blog
fluent-plugin-grepcounter をリリースしました 〜 Haikanko OSS化への道(1) : sonots:blog
