Fluentdの仕組み -バッファ機能でログ収集漏れを防ぐ- - Tech-Sketch
OSSのログ収集管理ツールFluentdを用いてログを統合管理している場合の懸念点として、ログの収集漏れが考えられます。 Fluentdでは、バッファ機能を活用することでログを収集漏れすることなく確実に収集することができます。 このバッファ機能のメカニズムを理解すべく動作検証した結果を紹介します。対象とするFluentdのバージョンは0.10.30です。 Fluentdとは Ruby実装のOSSのログ収集管理ツールです。 Fluentdは、Input、Buffer、Outputの3つのコンポーネントで実現されています。 様々な場所からログを収集、JSON形式に変換し(Input)、蓄積(Buffer)、様々な出力先にデータ出力(Output)します。 例として、あるサーバ(server01)のApacheのアクセスログを別のサーバ(server02)内にファイルとして出力する場合
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
「BigQueryは120億行を5秒でフルスキャン可能」は本当か？ 先日、kaheiさんがGoogle BigQuery（Googleクラウドの大規模クエリサービス）について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。（Fluentd Meetupでの）プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる（これ、記憶がちょっとあいまい。もう少しかかったかも）。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
Fluentdで、RailsのログをS3に保存する方法 - Qiita
What is fluentd? ログ収集をプログラマブルに実施し、状況に応じた柔軟な対応が実現できるソフトウェア ログの管理を「インプット」「バッファ」「アウトプット」という3つの層に分けて管理 fluentdは内部で各ログデータに対して「タグ」を付与し、管理 fluentdではログの内容（レコード）がJSON形式になっている そのため、アプリケーション側でのパースが容易であるというメリットがある Why Fluentd? : ログ管理への要求 ログの多様化・肥大化への対応 ログ情報を基にした分析の必要性 fluentdの設定方法 インストール方法 様々なインストール方法がある RPMパッケージからFluentdをインストールする (Redhat Linux) DEBパッケージからFluentdをインストールする (Debian / Ubuntu Linux) DMGパッケージからFlu
ssig33.com - Tiarra のログを fluentd で流す
Tiarra のログを一つのファイルに吐くようにして、 fluentd で管理すると非常に便利です。 fluentd の format と time_format は format /^(?<at>[^ ]+\ [^ ]+)\ (<(?<room>[^ ]*):(?<user>[^ ]*)>|\((?<room>[^ ]*):(?<user>[^ ]*)\)|>(?<room>[^ ]*):(?<user>[^ ]*)<|-(?<user>[^ ]*)-|>(?<user>[^ ]*)@[^ ]*<)\ (?<text>.*)$/ time_format %Y/%m/%d %H:%M:%S 上記のようにして、 tiarra の設定は以下の通りにする。 + Log::Channel { directory: log charset: utf8 header: %Y/%m/%d %H:%M:%
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd ソースコード完全解説 (v0.10向け)
InfluxDB の概要 - sonots
excale.net