fluent-plugin-secure-forwardと戯れた話 | GREE Engineering
こちらのエントリーは「GREE Advent Calendar 2015 14日目」の記事です。 こんにちは、データエンジニアリングチームの山田です。6日目の記事の長谷川、田畠とともにグリーの分析基盤を良くする仕事をしています。主にデータ収集周りを担当しており、fluentdとはいつの間にか2年を超える付き合いとなりました。 さて今回は、fluent-plugin-secure-forwardについてつらつらと紹介していきたいと思います。 fluent-plugin-secure-forward(以下secure-forward)は、SSL/TLSを利用しセキュアにデータ転送を行うためのfluentd pluginです。fluentdにデフォルトで含まれているノード間を転送するためのforward plugin(以下forward)は転送時に暗号化などを行っていないため、インターネットを通
ansibleのログをfluentdに流す — そこはかとなく書くよん。 ドキュメント
ansibleのログをfluentdに流す¶ Chef のログを Fluentd に流す という記事を読みました。Ansibleにもそのための機能があるにも関わらず、あ まり情報がないのでまとめてみました。 callback plugin¶ Ansibleにはmoduleとは別にpluginという機構があります。例えば "{{lookup('file', '/etc/foo.txt') }}" というように使うlookup pluginがあり ます。他にもconnectionやvarsのpluginがありますが、そのうちの一つに、 callback pluginがあります。 callback pluginはその名の通り、いろいろなイベントが発生した時に自動的に 呼び出されるcallbackを登録するためのpluginです。イベントの例としては、 playbookの開始時 taskの開始時
Fluentular: a Fluentd regular expression editor
Regular Expression Test String Custom Time Format (See also ruby document; strptime) Example (Apache) Regular expression: ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$ Time Format: %d/%b/%Y:%H:%M:%S %z
fluent-plugin-s3で、time_slice_format %Y%m%dにしてても、一日に複数ファイルがでてくる件
ログのバックアップをfluentd経由でs3に転送するようにしたのですが、time_slice_format %Y%m%dにしてても、一日に複数ファイルが生成されていました。 こんな感じ 原因がよく分からなかったのでtwitterでつぶやいてみたら、@frsyukiが返答してくださいました！ twitterでのやり取りはこちらにまとめました。 fluent-plugin-s3で、time_slice_format %Y%m%dにしてても、一日に複数ファイルがでてくる件解決策↓のように、buffer_chunk_limitを大きい値で設定すればOKでした。 原因原因は、buffer pluginで指定される、buffer_chunk_limitがデフォルトの8M(2012/11/27現在)だったためです。 chunkは一時的なデータの格納場所で、fluent-plugin-s3ではbuffe
Fluentdで始めるリアルタイムでのログ有効活用
はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める
suz-lab.com - suz lab リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Amazon LinuxにFluentdをインストールしてS3とMongoDB連携する ｜ Developers.IO
あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start
超初級！Fluentdのプラグインを書きたくなった時の下地づくり · さよならインターネット
January 5, 2013 fluentdをまともに動かしたことないけど プラグイン書いたらわかるのでは！！？ と思い立って取り敢えず下地だけつくったのでメモ。 参考 fluentdのためのプラグインをイチから書く手順(bundler版) / tagomorisのメモ置き場 Writing plugins / fluentd fluent-plugin-imkayac / fujiwara fluent-plugin-r18 / studio3104 基本はもりす先生の手順にそって行えば問題なし。 参考にオフィシャルのドキュメントと @fujiwaraさんのシンプルなプラグイン @studio3104さんの下地を見ながら書くとなおよし。 また、rake testまで通したものを https://github.com/kenjiskywalker/fluent-plugin-hoge こ
fluent-agent-lite と td-agent で、小さくはじめる fluentd - Studio3104::BLOG.new
fluentdを使ってみたいけど、「JSONでシリアライズしなくていいのに・・・生でいいのに・・・」と思ってなかなか使い出せないというケースはままあるのではないでしょうか。 こんなときに困ってしまうからですよね。 rsyncやscpで毎日深夜にやってくる生ログを解析するスパゲッティスクリプトたちを使えなくなってしまう アプリケーションサーバにログをパースさせるための負荷をかけたくない それでも使ってみたい、現存の古臭い解析機構をアクティブにしたまま、徐々にfluentdによる先鋭的なログ解析を始められたらいいなと思っている方、 fluent-agent-lite と td-agent で、fluentd を小さくはじめてみたらいいと思います。 結論を先に言うと、fluent-agent-lite + fluent-plugin-file-alternative + fluent-plugi
Apacheのサンプルログを生成し続けるスクリプト
最新の記事はこちらです。 Fluentdのテストをする過程で欲しかったので、Apacheのログを生成し続けるスクリプトを書きました。 と言っても生成部分はTreasureDataのスクリプトを丸ぱくりで流量制限をするオプションを追加して延々と出力するようにしただけです。 frsyuki++。 手元でサクッとproductionで確認できる人はうらやましす。 使い方は以下のような感じです。詳細はREADMEを見てください。 ruby sample_apache_gen.rb [--rate=0] [--limit=0] [--rotate=0] [--progress] [--json] [outfile] --rate 毎秒何レコード生成するかの指定。0以下は制限無し。 --limit 最大何件出力するか。0以下は延々と出力し続ける。 --rotate ローテーションの間隔。単位は秒指定。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluent-agent-lite と fluentd agent の比較(1) 〜 Haikanko OSS化への道(2) : sonots:blog
"Fluentd as a Kibana" at Elasticsearch meetup #2
FluentdとGrowthForecastを使った可視化 〜 Haikanko OSS化への道(4) : sonots:blog
http://blog.inouetakuya.info/entry/20130212/1360669490
http://blog.inouetakuya.info/entry/20130216/1361015295
PHP - Fluentd
http://dl.dropbox.com/u/224433/fluentd_casual_1/index.html
FluentdとRedisではじめるカジュアルで リアルタイムなレコメンデーション - Fluentd Casual Talks LT #fluentd #fluentdcasual