パイプ経由のログ出力はCPUを浪費する
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. Apache HTTP Serverでログをパイプ経由でプログラムに出力すると、リクエストを処理するたびにログを処理するプログラムへのコンテキストスイッチが起こります。そのためアクセスが増えたときにCPUをかなり浪費します。UltraSPARC T1は32個のコンテキストを保持できて、1クロックでコンテキストスイッチできるので問題ないと思っていました。しかし、CPUの使用率が100%に達して、さらに負荷が掛かる状況になると違いました。 ftp.jaist.ac.jpにはパイプ経由のログ出力が3つあります。エラーログとアクセスログのrotatelogsへの出力と、以前
Scribeを使ってアクセスログを集約する - スコトプリゴニエフスク通信
Webサーバーが複数台ある時、そいつらからアクセスログを集めてきてアクセス解析を行いたい時、2010年にもなってlogrotateをかけた後にrsyncするのかなぁと思ってしまうわけです。そういう用途にはFacebookで鍛え上げられたScribeが一番いいと分かっていながら、インストールが非常に面倒なので躊躇していました。./configure && make installでインストールするのも面倒ならば、RPMを作るのはさらに面倒。(Thriftはまだ何とかなるが、fb303、Scribeは本当に面倒)しかし、偉大な先人はすでにいるものです。「scribe centos」とかでググってCentOS用のSRPMを作っている人を見つけました。http://www.silassewell.com/blog/2009/05/07/scribe-scalable-real-time-log-a
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
