td-agent3でGemfileベースのプラグイン管理 - 2018-04-06 - ククログ
Fluentdのプラグイン管理はGemfileベースでやると、きちんとバージョンを管理できるのでよいです。 ドキュメントでもGemfileベースのプラグイン管理について書かれています。 しかし、記事執筆時点ではtd-agentでどのようにするのかは、書かれていませんでした。 td-agent3からsystemdに対応しているので、特に断りがない場合はsystemdについて書いています。 また、パッケージはいくつか種類がありますが主にdebパッージについて書きます。rpmの場合でも、serviceファイルなどの内容は同じなので、そのまま使える知識です。 使用するソフトウェアで特にバージョンを気にするものは以下の通りです。 td-agent 3.1.1 bundler 1.16.0 bundle install中にsudoを実行される Fluentdは--gemfileオプションを指定すると、
Fluent-plugin-geoipのメンテナになりました - 2017-12-28 - ククログ
@y-kenさんからコミット権をもらって gem owner に加えてもらったのでfluent-plugin-geoip v1.0.0などをリリースしました。 v1.1.0までの主な変更点は以下の通りです。 Fluentd v1のプラグインAPIに移行した Fluentd v0.12.x については fluent-plugin-geoip 0.8.x でサポートする geoip2_cがデフォルトのバックエンドとなった ドキュメントを更新した 主にfilter_geoipを使ってもらうために、filter_geoipの説明を前に移した 設定の説明を追加した latitude, longitude にはデフォルト値を設定するようにした filter_geoipでtagやtimeなどをレコードに挿入できるようにした out_geoipではサポートしていた機能 どんなキーを指定すればよいのか簡単に
fluent-plugin-elasticsearch の開発を引き取りました - 2017-12-27 - ククログ
fluent-plugin-elasticsearchはよく使われているプラグインではありましたが、長らく開発が滞っていました。 @pitrさんと@dterrorさんからコミット権をもらって gem owner に加えてもらったので 本プラグインの開発を引き取りました。 開発を引き取ってからの主な変更点は以下の通りです。 elasticsearch-rubyのネットワーク周りのログ出力を有効化するオプションを追加 組み込みのプレースホルダーサポート Elasticsearchのテンプレートの上書きに対応 レコード重複を軽減する仕組みの作成 特定のエラー時の再試行 非ASCII文字のURLエンコード用のプレースホルダーの追加 SSL/TLSのバージョンを指定するパラメーターの追加 ナノ秒対応 fluent-plugin-elasticsearchの使い方はREADME.mdを参照してください
Fluentd v0.14.xが安定版になりました - 2017-11-20 - ククログ
Fluentd v0.14.22 has been released | Fluentd 少し前の話ですが、2017年11月01日にFluentd v0.14.22 がリリースされました。 このリリースでは以下のようにstableなリリースだと宣言されました。 v0.14.22 is a stable release of v0.14 series 安定版になったので安定版を待っていたプラグイン開発者の人は、諸々対応していただけると大変ありがたいです :pray: このリリースが出てからは、主にドキュメントを充実させるべくdocs.fluentd.orgのリポジトリにPull requestを送っています。 11月20日時点で約40件PullRequestを送ってplugin helperとsections (buffer sectionは既に書かれていた)のドキュメントを充実させました。
Fluentd 入門 〜運用に必要な基礎知識〜
最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
Fluentd v0.14で導入されたstorageプラグインとは - 2017-04-19 - ククログ
はじめに Fluentd v0.14では新たにstorageプラグインという新しいタイプのプラグインが導入されました。 FluentdをインストールしただけではJSON形式により保存される storage_local プラグインしかありませんが、このstorageプラグインはFluentdのプラグインのインスタンスが保持する値をKVSに集約することにも使用することができます。 storageプラグインとstorageプラグインヘルパー Fluentd v0.14ではさらにプラグインヘルパーという概念も追加されました。storageプラグインにおいてもstorageプラグインを直接使うのではなく、storageプラグインヘルパーを通じて使うことが推奨されます。 storageプラグインのAPI storageプラグインは以下のAPIを持ちます。これはKVSから値を取り出したり、保存したり、ま
Fluent Loggerの信頼性を高めるには - 2017-04-28 - ククログ
はじめに Fluentdにログを送る方法として、Fluent Loggerを使う方法があります。 RubyやJavaにはそれぞれfluent-logger-rubyやfluent-logger-javaなどのFluent Loggerがあり、よくメンテナンスされています。 この記事ではFluent Loggerを使ってFluentd v0.12またはv0.14にログを送信する時にどのようにするとより確実にログ転送ができるようになるかを解説します。 最小構成のFluent_Loggerを作成するには では最小構成のFluent Loggerはどのような仕様に基づき実装されるべきかを解説しました。この記事はその続編です。 確実にログを送るには 確実にログを送るにはエラーが起きた時にそのエラーを回復する手段を提供されていることが必要です。 ログが送れたことをFluent Logger側で検出する
意図せず fluentd のバージョンが 0.14 系になってしまったら - えいのうにっき
いま、ちょっとしたサーバのセットアップを行っているんだけど、そこで少しハマってしまったのでメモとして残しておく。 ↓のようなコマンド（公式ページにも記載されているもの）で td-agent のバージョン2系（fluentd は 0.12系のはず）をインストールしているにも関わらず、 $ curl -L http://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh セットアップを終えて起動させた td-agent のログを見ていると↓のようなエラーがでていて、 2017-02-19 13:04:02 +0900 [error]: #0 [nginx_forest] failed to configure/start sub output copy: Unable to activate fluent-plugin-b
Fluentd update 2016 - Qiita
毎年やっているので，2016年もFluentd周りで起きたあれこれをまとめておこうと思います．v0.14がリリースされたり，CNCF入りしたりと色々と大きく前進した年でした． Fluentd本体 以下が現在の各リリースの最新バージョンです． old stable: 0.10.62 Current stable: 0.12.31 Development: 0.14.10 0.10は2016年末でEOLなので(アナウンス)，これ以降新しいバージョンはリリースされないことに気をつけてください．0.10.0のリリースが2011年10月なので，約5年開発されていたことになります(実際はここ1年は開発してないので実質は4年ですが)． また，v0.14が開発版という位置づけではあるものの，それなりに機能が実装され，gemから普通にインストールして使うことが出来るようにもなりました．Docker環境とかで
fluent-plugin-bigquery v0.3.x で遭遇したエラーについて
fluent-plugin-bigquery を v0.2.x から v0.3.x にアップデートしたところ, insert errors insert_errors="[#<Google::Apis::BigqueryV2::InsertAllTableDataResponse::InsertError のようなエラーが出て, BigQuery に insert 出来なくなってしまったエラーについてのまとめです. 問題 fluent-plugin-bigquery を v0.3.x にアップデートしたところ, fluentd が次のようなエラーを発生するようになりました. 2016-11-12 17:19:45 +0000 [warn]: insert errors insert_errors="[#<Google::Apis::BigqueryV2::InsertAllTableDat
ELB経由のfluentd Aggregatorを安定化するためにやった3つの対策 - Qiita
この記事はリクルートライフスタイル Advent Calendar 2016の2日目の記事です。 はじめに 弊社ではログ収集にfluentd v0.12を主に使っており、システム自体はAWS上に構築しています。 fluentdのAggregatorには、ノードの追加がしやすいように負荷分散にELBを使う構成にしています。 ここ最近までは、複数のサービスからのログを1つのELBで受け、各Aggregatorノードで処理するという構成をとっていました。 ただログが増えてくると安定性に問題が出てきたため、その際に対策として行ったことについてまとめます。 やったこと 1. コネクション数とログ量のアンバランスを解消する fluentdのsecure-forward output pluginは、コネクションを切らずにログを送り続けます。 またELBは最もコネクション数が少ないノードへ接続を行う負荷
知っておくと便利な Exponential Backoff - kakakakakku blog
今日は社内勉強会で「知っておくと便利な Exponential Backoff」という発表をした．前回の「知っておくと便利な Bloom Filter」に続いてのタイトルで「知っておくと便利な」シリーズを確立していきたい． 実は Exponential Backoff という名称を知ったのは結構最近のことで，以下の記事を読んでいて知った．発表の中で例に挙げた Fluentd は，エラー時に間隔を広げながらリトライするという仕組みがあり，それ自体は知っていたけど，それを Exponential Backoff と呼ぶということを知らなかった．Fluentd のコードを読んでいたら確かに Exponential Backoff と書いてあるところがあった．ほえー！ yoshidashingo.hatenablog.com 発表資料 補足 AWS SDK を使うなら Exponential Ba
v0.14 Outputプラグインの仕様解説 - 2016-10-20 - ククログ
はじめに クリアコードはFluentdというソフトウェアの開発に参加しています。Fluentdはログ収集や収集したデータの分配・集約などを行うソフトウェアです。 v0.14での新機能を使ったプラグインを作成する際にはこれまでの Fluent 以下のクラスではなく、Fluent::Plugin 以下のクラスを継承し、実装する必要が出てきました。 また、v0.14のOutputプラグインはv0.12とは異なり、Fluent::Plugin::Output クラスに様々な機能が入っています。これらの機能をプラグイン開発者向けに解説することを目指します。 この記事はv0.14.8以降が対象です。 まずは、Outputプラグインが必ず実装するべきメソッドについてのおさらいです。 non-buffered
fluentdを導入時にまず知っておいたほうがよさそうなこと（インストール、監視、HA構成、チューニングなど） - Qiita
fluentdを導入時にまず知っておいたほうがよさそうなこと（インストール、監視、HA構成、チューニングなど）CentOSFluentdElasticsearchtd-agent fluentdを使う時にまず知っておいたほうがよさそうなこと はじめに 朝からElasticsearchへのデータの投げ込み方を考えていました。 データベースやメッセージキューなどにデータを投げ込んでおいて、ニアリアルなバッチでElasticsearchに投げ込むよりも、fluentdを使う方が圧倒的に簡単で信頼性が高いものができますね。自分で作りこむのがバカらしくなりますね。 ということで、fluentd利用時に気を付けておきたいことについて調べてみました。内容は公式ドキュメントの内容をベースに自身で調べたことを追記しています。公式ドキュメントへのリンクも貼ってありますので適宜そちらをご覧いただければと。 環境
Fluentdのプラグインのv0.14への移行の仕方 - 2016-08-26 - ククログ
はじめに クリアコードではFluentdというソフトウェアの開発に参加しています。Fluentdはログ収集や収集したデータの分配・集約などを行うソフトウェアです。 Fluentdのv0.14はv0.12とある程度の後方互換性が保たれているメジャーバージョンアップです。 v0.14での新機能を使ったプラグインを作成する際にはこれまでの Fluent 以下のクラスではなく、Fluent::Plugin 以下のクラスを継承し、実装する必要が出てきました。 また、v0.14からはプラグインでよく書かれるコードをカプセル化し共通に使えるヘルパーを提供することで、よりプラグイン開発者が簡潔で良くテストされたコードを使ってプラグインが開発出来るようになる、とアナウンスされています。1 Inputプラグインの場合 Inputプラグインをv0.14のプラグインに移行する際には Fluent::Input の
Fluentd v0.14.0 をリリースした & Fluentd meetup 2016 Summer をやってしゃべってきた - たごもりすメモ
最近めっきり対外的なアウトプットが減っていたのは、ぜんぶこいつのコードを書きまくってたからです。すごい書いた。 Fluentd v0.14.0 has been released | Fluentd ということで出ました、Fluentd v0.14.0。だいぶいろいろ良くなってるはずだけど、そのあたりはこれからv0.14対応プラグインが増えてきたりすると分かってくるかなと思う。ユーザにとっても嬉しい変更が山盛りです。 で、まずそのことをアピールしなければならんということで、Fluentd meetupではがっつりとしゃべってきた。 Fluentd meetup 2016 Summer - dots. [ドッツ] Fluentd v0.14 Plugin API Details from SATOSHI TAGOMORI 元々45分の予定だったのに90分弱くらいしゃべってしまったらしい。すま
Fluentd Meetup 2016 Summer レポート 〜 v0.14 の新機能からプラグイン開発者向け API まで - 無印吉澤
イベント名：Fluentd Meetup 2016 Summer 開催日時：2016-06-01(月) 会場：イベント＆コミュニティスペース dots. 約1年ぶりに開催された Fluentd Meetup に参加してきました。今回は、5月31日にリリースされたメジャーバージョンアップの v0.14 について、ユーザ向けの機能紹介から、プラグイン開発者向けの深い話まで、盛りだくさんの内容でした。自分でプラグインを書くくらい、Fluentd をヘビーに使う人向けのイベントという感じで、どの話も面白かったです。 最近、私は Fluentd を使う機会が全然なかったこともあって、「Fluentd も機能的には枯れてきて、そろそろ新機能もあまりないだろう」と思っていたのですが、まだこんなに改善の余地があったのか……とちょっと驚きました。個人的には、古橋さんの講演で将来の構想として出てきた、Kafk
Fluentd v0.14.0 has been released | Fluentd
Hi users! We have released Fluentd version 0.14.0, which is the first release of major version 0.14, including many improvements and new APIs. This post shows some of major changes. See ChangeLog for the full list of changes. Windows support Fluentd v0.14 core supports Windows environment! Process management layer of Fluentd v0.14.0 was rewritten with ServerEngine to make it possible to spawn proc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dockerのlogging driver: それぞれの特徴と使いどころ(json-file, syslog, journald, fluentd) - Qiita
ログ管理のベストプラクティス
