GitHub - fluent/fluent-plugin-s3: Amazon S3 input and output plugin for Fluentd
Amazon S3 plugin for Fluentd Overview s3 output plugin buffers event logs in local file and upload it to S3 periodically. This plugin splits files exactly by using the time of event logs (not the time when the logs are received). For example, a log '2011-01-02 message B' is reached, and then another log '2011-01-03 message B' is reached in this order, the former one is stored in "20110102.gz" file
個人情報を難読化するfluent-plugin-anonymizerの安定版をリリースしました #fluentd - Y-Ken Studio
photo by minnepixel 突然ですが皆さん、アプリログをFluentdで収集する際に個人情報となるデータの扱い、どうしていますか？ こういったログデータは個人情報保護や内部統制の観点から、データマスキングをしてから分析した方が好ましいです。 しかしながら、サーバにアクセス出来る人が限られるといった理由で問題の先送りをしているケースがあるかもしれません。 最近流行のログの見える化により、データマスキングされないまま多くの人がそういった情報にアクセス出来るようになっているのなら、余計にマズいですよね。 そこでデータマスキングを実現するfluent-plugin-anonymizerの出番です。 このプラグインを経由することで、文字列のハッシュ化と、IPv4/IPv6アドレスの丸め処理が出来ます。 リアルタイム分析用のElasticsearch+Kibanaといった検索ダッシュボー
Fluentdの知られていない6つのこと - Boost Your Programming!
Fluentdの知られていない6つのこと 本当に知られていないかはわからないです。 公式にはあまり説明されていなかったり調べてもなかなか見つからないことが多いと個人的に思ったものを集めました。 機能や言葉の細かい説明は省いているのである程度使っている人が対象です。 out_copyはshallow copy Fluentdで最初に使うであろうビルドインされているout_copyプラグインですが、実はデフォルトではメッセージをdeep copyしないため意図しない結果になることがあります。 <match test> type copy <store> type record_modifier tag test.aa foo bar </store> <store> type retag tag test.bb </store> </match> <match test.{aa,bb}> ty
ruby 2.1.0-preview1 を fluentd で試してみた (追記あり) (再度追記あり) - たごもりすメモ
2.1.0-preview1 が出た。RGenGCはそのロジックがいかにもFluentdにジャストフィットしそうなので期待していた。あとGCまわりも含めあれこれ変わってるので、使うと事故るなら早めに確認しておこうかな、という感じ。 確認したノードは以下の2種類で1台ずつ。 fluentd + out_exec_filter (+perlの外部プロセス) でログをparseするworker fluentd で大量のクライアント(fluent-agent-liteなど)から接続を受け付け、fluentdクラスタの各ノードへロードバランスするdeliver で、本日の12:40くらいに変更したと思いねえ。そのグラフがこれ。トラフィック、CPU使用率、メモリ使用量。 worker 起動するrubyのバージョンを変えてからぐんぐんメモリ使用量が伸びはじめ、見てるうちに物理メモリ量を突破しそうになった
Presentation Slides | Fluentd
Table of Contents Introduction to Fluentd Fluentd loves MongoDB Dive into Fluentd Plugin Fluentd and WebHDFS Introduction to Fluentd These slides explain the basics of Fluentd. Fluentd loves MongoDB These slides explain the integration of Fluentd with MongoDB. The presentation was originally given at the MongoSV User Group meetup on July 17, 2012.
fluent-plugin-secure-forwardを試してみた - MakeitSmart!
Fluentdを使うようになってから個人的に インターネットを挟んだ複数拠点間でfluentdでログ収集したいなー でも受け手側でポートを全開放するのは怖いしIPフィルタかユーザ認証できたらいいなー Treasure Dataのようにアカウント認証の仕組みを作るのも面倒だなー と思っていたところ、先日のFluentd Casual Talks #2でtagomorisさんがfluent-plugin-secure-forwardを発表されました。tagomorisさんのスライドはこちら Fluentd message forwarding with authentication and encryption from SATOSHI TAGOMORI Twitterでも 待ってた！まずは今週末にでも動かしてみるかな。Fluentd message forwarding with a
Configuration File Syntax | Fluentd
This article describes the basic concepts of Fluentd’s configuration file syntax. Table of Contents Introduction: The Life of a Fluentd Event Config File Location Character encoding List of Directives (1) “source”: where all the data come from (2) “match”: Tell fluentd what to do! (3) “filter”: Event processing pipeline (4) Set system wide configuration: the “system” directive process_name (5) Gro
安定性を強化した fluent-plugin-munin v0.3.2をリリースしました #fluentd - Y-Ken Studio
ログ収集ツールFluentdで、リソース監視データも収集可能となる fluent-plugin-munin v3.0.2をリリースしました。 多数のMunin向けプラグインで採取できるデータを、お好みの間隔でFluentdに流すことが出来ます。 https://github.com/y-ken/fluent-plugin-munin https://rubygems.org/gems/fluent-plugin-munin 今回は不具合修正が主となるリリースです。 今回の主な修正事項 修正履歴より紹介します。 [Bug] munin-nodeへの接続が起動時に失敗すると、繋がるまでリトライを続け、Fluentdが起ち上がらなくなる不具合を修正 [Bug] munin-nodeへの接続が起動後の定期取得時に失敗すると、再度繋がるまで無限リトライとなる不具合を修正 新しいリトライ動作 リトライ
fluent と hoop を使って HDFS にリアルタイムにログを流す - tester7のブログ
概要 複数台のWebサーバのログを fluent と hoop を使ってリアルタイムにHDFSに追記していくテスト。 より頻度の高い行動解析を行うことができるようになる？ 参考にしたブログ： tagomorisのメモ置き場 テスト構成 # 初めてテキストで図書いた。 # 線を交差させる所で面倒くさくなって適当に... web01 server fluent master +---------+ +---------+ | Fluentd |--+--->| Fluentd |--+ +---------+ |+-->+---------+ | Proxy || +-->+--------+ +--------+ || | hoop |-->| HDFS | web02 server || fluent slave +-->+--------+ +--------+ +---------+
FluentdとMysqlを利用した簡単なRecommendEngineの開発 - Y's note
WEB+DB PRESS Vol.72 作者: 近藤宇智朗,生井智司,Dr.Kein,tokuhirom,森田創,中島聡,堤智代,A-Listers,はまちや2,竹原,川添貴生,久保達彦,道井俊介,飯田祐基,中村知成,規世やよい,後藤秀宣,天野祐介,奥野幹也,WEB+DB PRESS編集部出版社/メーカー: 技術評論社発売日: 2012/12/22メディア: 大型本購入: 11人 クリック: 94回この商品を含むブログ (10件) を見る RecommendEngineを作りたい Fluentd Casual Talks LT #fluentd #fluentdcasual Fluentdを使ってNginxLogをMysqlにリアルタイムで格納する - Yuta.Kikuchiの日記 興味連動型広告におけるマッチングの微妙な知識だけを活かして最近は仕事をしている@yutakikucです。こ
fluentdでfluent-plugin-mongo使おうとしたらちょっとはまった - (ヽ´ω`)
rubyなれてる人ならはまらないんだろうけど、fluentdでfluent-plugin-mongoを入れてつかおうかなぁと思って gem intall fluent-plugin-mongo して、fluentdを再起動したら下記のように言われるわけです。 **Notice: C extension not loaded. This is required for optimum MongoDB Ruby driver performance. You can install the extension as follows: gem install bson_ext If you continue to receive this message after installing, make sure that the bson_ext gem is in your load path
fluent-plugin-config-expander v0.1.0 released! - たごもりすメモ
世間の Fluentd ユーザのみなさんはFluentdが1プロセスでいったいどれだけ大量のメッセージをさばけるかを実際にご覧になってそのすばらしさに驚いていることと思いますが、もちろん1ノードで処理できるメッセージ数にはいずれ限界があり、メッセージを次段階の処理を行うFluentdに送るときには対象の分散を考えることと思います。 で、カジュアルにスケールさせていったところ out_forward の配送先が10サーバx各8プロセスの合計80ノードになって設定ファイルが爆発したので、設定ファイル内で繰り返しを記述できるプラグインを書いた。 tagomoris/fluent-plugin-config-expander · GitHub fluent-plugin-config-expander | RubyGems.org | your community gem host これにより こ
超初級！Fluentdのプラグインを書きたくなった時の下地づくり · さよならインターネット
January 5, 2013 fluentdをまともに動かしたことないけど プラグイン書いたらわかるのでは！！？ と思い立って取り敢えず下地だけつくったのでメモ。 参考 fluentdのためのプラグインをイチから書く手順(bundler版) / tagomorisのメモ置き場 Writing plugins / fluentd fluent-plugin-imkayac / fujiwara fluent-plugin-r18 / studio3104 基本はもりす先生の手順にそって行えば問題なし。 参考にオフィシャルのドキュメントと @fujiwaraさんのシンプルなプラグイン @studio3104さんの下地を見ながら書くとなおよし。 また、rake testまで通したものを https://github.com/kenjiskywalker/fluent-plugin-hoge こ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Job Seeker Resources
Fluentd-v11-migration.md
GitHub - Furyu/fluent-plugin-hbase: This library has been moved to yuuna/fluent-plugin-hbase in October 2014
GitHub - fluent/fluent-plugin-mongo: MongoDB input and output plugin for Fluentd
fluent-plugin-mongoに突っ込んでみる - @kinjou_jのメモログ
fluentdを使ったログ監視 〜 Haikanko OSS化への道(3) : sonots:blog
Fluentdで始めるリアルタイムでのログ有効活用