Fluentdの仕組み -バッファ機能でログ収集漏れを防ぐ- - Tech-Sketch

OSSのログ収集管理ツールFluentdを用いてログを統合管理している場合の懸念点として、ログの収集漏れが考えられます。 Fluentdでは、バッファ機能を活用することでログを収集漏れすることなく確実に収集することができます。 このバッファ機能のメカニズムを理解すべく動作検証した結果を紹介します。対象とするFluentdのバージョンは0.10.30です。 Fluentdとは Ruby実装のOSSのログ収集管理ツールです。 Fluentdは、Input、Buffer、Outputの3つのコンポーネントで実現されています。 様々な場所からログを収集、JSON形式に変換し(Input)、蓄積(Buffer)、様々な出力先にデータ出力(Output)します。 例として、あるサーバ(server01)のApacheのアクセスログを別のサーバ(server02)内にファイルとして出力する場合

[Steiger31226]

“。”

[crist18]

fluentd

[rch850]

シャットダウン時の扱い

[potato777]

ネットーワーク障害とかでログが正常に処理できなかった時の挙動。

[kamatama_41]

分かりやすい

[inokara]

Memo

[wyukawa]

メモ

[kimutansk]

送信時失敗の時の挙動がわかりやすいですねぇ。

[abe_hn]

わかりやすい