td-agent/fluentdのmonitor_agentを使用してbuffer使用領域の監視
fluentdの0.10.33からin_monitor_agentという標準プラグインが追加され、これによりfluentdで使用しているpluginのmetrics情報が外部から取得できるようになりました。 ◯設定 <source> type monitor_agent bind 0.0.0.0 port 24220 </source> ※参考：http://docs.fluentd.org/articles/monitoring#monitoring-agent ◯確認 上記のように設定後、以下のように24220ポート経由でAPIに接続すると、metrics情報がjson形式で取得できます。 $ curl -s http://localhost:24220/api/plugins.json | jq "." { "plugins": [ { "config": { "type": "fo
fluentd(td-agent) の導入 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 Rubyfluentdtd-agentlog はじめまして。開発チームの yuzuki です。 7/1に弊社の 決済サービスPaid（ペイド） のサーバー群へ ログ集約の改善を目的として導入した fluentd(td-agent) の導入手順などをまとめてみました。 ログ集約を改善する動機 弊社ではこれまで（今も大部分は） cron + rsync を使い、週次バッチでWebサーバー上のログファイルをファイルサーバーへ転送することで一応の集約をさせてきました。 （集約というよりはバックアップといった意味合いの方が強いかもしれません） サーバー台数が少なかった頃はこの仕組みでも特に大きな問題はなかったと思いますが、 サービスの成長にあわせて、サーバー台数が増え
![fluentd(td-agent) の導入 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/13cbb956f277bb369e639692ef1987a2efa4d0df/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2018%2F04%2Ff0e4ac3a.png)
検証中のtd-agent（fluentd）の設定とか負荷とか - mikedaの日記
せっかくなのでアクセスログ関連のところだけ抜き出してみます。 構成 概要 Fluentdを使ってWEBサーバ（APPサーバ）のアクセスログを集約サーバに集約、いくつかの処理をやってます。 要するにこの3つです。 まとめてファイルに保存する（とりあえずやってみてるだけ） TreasureDataプラットフォームにデータを送信して集計可能にする Zabbixでサービスの稼働状況を可視化する TreasureDataプラットフォームに関しては前の記事で書いたように、簡単な管理画面を作って集計テストをしています。自社フレームワーク用のライブラリも作成するつもりです。 Zabbixを使った可視化はこんな感じです。 プラグインの構成図 td-agentはサーバごとに1プロセス、できる限りシンプルでFluentdっぽい使い方を心がけてます。 負荷 2億/dayくらいのログを突っ込んでみたところ、集約サー
td-agent版Fluentdデーモンの特徴と監視 | 外道父の匠
td-agent版Fluentdを大量に導入してみて、かなり快適に動いています。 ただ、若干不安定な部分があり、対応が必要だったので記しておきます。 導入したOS 今のところtd-agentを入れたOSは CentOS 5 Debian Lenny Debian Squeeze td-agentデーモン（プロセス）の特徴 プロセス数 netstatやlsofで見たらわかりますが、tcp, udp用2つで1セットとなっています。 重複起動する /etc/init.d/td-agent start を実行したら実行した分だけ起動していきます。これはCentOSでもDebianでも確認しました。これをやると、/var/run/td-agent/td-agent.pid には新しいTCPプロセスのPIDが記録されていますが、古い方のプロセスも通常通り動作しているため、 ログが重複送信される sto
fluentd(td-agent)で、td-agent.logのローテートをとりあえずする方法 - oranie's blog
追記： やっぱこれをみんな悩むよね・・・と思って改めて色々ググり直したら思いっきり既知の問題かつ同じ手法（logrotateを使用する方法）でISSUEにも上がっていました。RHEL系でのtd-agent.specに既に書かれているのでリリース待ちですね。 https://github.com/treasure-data/td-agent/blob/master/redhat/td-agent.spec https://github.com/treasure-data/td-agent/commit/ad7885ff4956c420a37d9a87c783ed81c422c53d - 表題のままです。まあ、そんな大量にエラーログとか出ている状態で運用する事無いんですけどね。ただ、一定サイズとか一定日次とかでローテートしておきたいじゃないですか。 で、今のfluentdの挙動を見る為にlib
Installing td-agent for Debian and Ubuntu / Installing td-agent daemon / FAQs - Treasure Data Platform Support
Installation This article shows how to install td-agent on Debian / Ubuntu systems. Currently, "Ubuntu 10.04 LTS / Lucid" and "Debian Sqeeze" are supported. Please follow these steps for those distributions. At first, please add the Treasure Data apt packages repository to your sources list. This command will set it up for you: sudo apt-add-repository 'deb http://packages.treasure-data.com/debian/
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://packages.treasure-data.com/debian/pool/contrib/t/td-agent/