Embulk: Docs
Built-in Plugins Configuration Embulk configuration file format Local file input plugin CSV parser plugin JSON parser plugin Gzip decoder plugin BZip2 decoder plugin File output plugin CSV formatter plugin Gzip encoder plugin BZip2 encoder plugin Rename filter plugin Remove columns filter plugin Local executor plugin Guess executor Preview executor Logo Images Logo Square Horizontal Icon Customiza
Fluentdでプラグインを使うと便利になる - Qiita
概要 以下を使って、データの内容によってファイル名、パスを動的に変えて出力するメモ rewrite_tag_filter file_alternative こんなかんじ↓ 試しにやってみよう 1. 「tag」と呼ばれる情報でデータを管理する ※tagを付けるってことは、レコードごとにラベル付ける感じです <source> //データを格納するファイル名を指定 @type tail path /var/tmp/data.csv //読み込んだ位置を記録するファイルを指定する。（ fluentd daemon を再起動したい場合などの場面でその続きから再開して読み込んでくれる） pos_file /var/tmp/data.log.event.pos //各レコードに対してタグを指定する tag foo.id //出力するデータのフォーマットを作る format /^(?<fooid>[^,
Fluentd で HTTP ステータスコードを集計して Datadog で可視化 or 監視する - Qiita
---- ---- ---- 追記: 2015/10/12 Dogstatsd を利用しての集計を Dogstatsd で Datadog にカスタムメトリクスを送る方法 〜Fluentd との連携を添えて〜 - TAKUMI SAKAMOTO’S BLOG に書きましたので、合わせて読んでいただければと思います。 ---- ---- ---- Datadog で Apache のステータスコードを監視するための方法です。下記のように可視化したり、5xx が一定数以上になったらアラートを飛ばすみたいなことができるようになります。例は apache と書いてありますが、nginx でもほぼ同じ方法でできるはずです。 <source> type tail format ltsv time_format %d/%b/%Y:%H:%M:%S %z path /var/log/httpd/acces
fluentd 復習（1）〜 fluentd-plugin-datacounter と fluent-plugin-map や fluent-plugin-dd を使った可視化の例〜 - ようへいの日々精進XP
ども、かっぱです。 はじめに 蓋を開けると... fluentd を全然使いこなせていないでちょっとずつ復習を兼ねて使ったことないプラグインを使ってみる。今回は fluent-plugin-datacounter を使ってみる。 ゴール 今回は fluent-plugin-datacounter を利用して各ホストから送信されるレコードに含まれるキーの値を集計して Datadog で可視化するまで。 図で表すと上のような流れにしたい。 fluent-plugin-datacounter とその他、今回登場するプラグイン 参考 サーバ／インフラエンジニア養成読本 ログ収集〜可視化編 fluent-plugin-datacounter tagomoris/fluent-plugin-datacounter · GitHub レコードから正規表現パターンでマッチした数を集計するプラグイン flu
Dogstatsd で Datadog にカスタムメトリクスを送る方法 〜Fluentd との連携を添えて〜 · takus's blog
Datadog というシステム監視 SaaS のネタです。 先週の木曜に「Datadog でカスタムメトリクス送るの面倒じゃない？どうやってるの？」とある人に質問されたので、 自分が知ってる Dogstatsd を使う方法をシェアします。 これはあるサービスの Nginx のアクセスログとエラーログを、 Fluentd 経由で Datadog にカスタムメトリクスとして送って可視化した例になっていて、 それぞれ、 左上: ステータスコード別の集計グラフ 右上: 今日・昨日・一週間前のレスポンスタイムグラフ 左下: Fluentd の タグ毎の流量 右下: Fluentd の ホスト毎の流量 といったグラフになっています。このポストではこんなグラフを作る方法を説明します。 Dogstatsd とは？ 唐突に Dogstatsd というものが出てきますが、カスタムメトリクスを送る場合はコイツを
Fluentd 2.3 + Elasticsearch 5.3 + Kibana 5.3 環境を構築してみた - カタカタブログ
以前Fluentd (td-agent 2.3.0) + Elasticsearch 2.1 + Kibana 4.3の環境を構築した。 totech.hateblo.jp 2017年4月現在、ElasticsearchとKibanaが5.3となり新しくなっていたので、現在の最新版で環境を再構築してみることにした。 結果、手順に大きな変更はなく簡単に構築できたが、細かな部分で違いもあったので手順をメモする。 環境はMacにインストールしたVirtualBox上にゲストOSとしてCent OS 7.3をたててそこに構築する。 今回利用した各種ソフトウェアのバージョンは以下の通り。 VirtualBox 5.1.18 Vagrant 1.9.3 CentOS Linux release 7.3.1611 (Core) Fluentd (td-agent v2.3.4) Elasticsearc
td-agent 3.0 for Windows - Qiita
fluentdがv0.14からWindowsで動くようになりました．それにともない，fluentd v0.14を使うtd-agent 3.0もWindows用のmsiパッケージを提供することにしました！ で，msiパッケージを作ってみたので，興味のある方に試してもらいたく，使い方を書きます． 正式版リリース時には，fluentdの公式ドキュメントにもちゃんとした手順は追加する予定です．これらの手順は管理者権限を持ったアカウントで実行しているのを想定しています． インストール msiパッケージをダウンロードしてクリックすればインストール出来ます．パッケージのURIは以下です． beta1とついている通り，まだbetaです．今後いくつか変更予定がありますが，それは最後に書きます． Fluentdを動かす プロンプトを起動する msiパッケージをインストールすると，Td-agent Comman
windowsにfluentdをインストールする手順 - Qiita
概要 windowsにfluentdをインストールする手順です。 rubyがバンドルされたtd-agentという形で提供されてるlinuxに入れる場合と比べて面倒です。 参考 fluentd for WindowsをRuby 2.2で動かす fluentd Windows版をWindowsサービスとして動かす 環境 Windows10 Proエディション(64bit) Ruby 2.2.4 (x64) fluentd v12 インストール手順 Rubyをインストール ダウンロードURL http://rubyinstaller.org/downloads/ rubyinstaller-2.2.4-x64.exe DevKit-mingw64-64-4.7.2-20130224-1432-sfx.exe rubyinstaller-2.2.4-x64.exeを実行 「Rubyの実行ファイルへ
柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ
複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ（図1）。オープンソースで公開されており、Linuxや各種UNIXで動作する。 図1 fluentdのWebサイト ログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。 さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
