障害に強いscribeサーバ構成と設定 - たごもりすメモ
scribeによるログ配送についていくらか試したりしつつ実戦投入しているのでその話。 今のところピーク時で20Mbps程度の流量で、100Mbpsを超えてくるようになると流量制限をシビアに考えたり中継サーバを複数台構成にしたり考えることになるのかなーと思っているが、現状はまだそこまでやってない。世の中には考えている人がぜったいいるはずなので話を聞いてみたいなあ。なんか「動かしてみた」レベルの話しかぐぐっても見付からない。悲しい。 サーバ構成 各サーバからログを(ほぼ)リアルタイムにscribedに流すのはいいとして、1台立ててるだけだと障害があったら全て終了してしまう。これはまずいので、複数台構成にする。 scribedはdeliverとcentralの両方で起動する。(設定はもちろん異なる。後述。) 通常は各サーバはすべて deliver サーバに接続してログを送る。deliverサーバ
Scribeを使ってアクセスログを集約する - スコトプリゴニエフスク通信
Webサーバーが複数台ある時、そいつらからアクセスログを集めてきてアクセス解析を行いたい時、2010年にもなってlogrotateをかけた後にrsyncするのかなぁと思ってしまうわけです。そういう用途にはFacebookで鍛え上げられたScribeが一番いいと分かっていながら、インストールが非常に面倒なので躊躇していました。./configure && make installでインストールするのも面倒ならば、RPMを作るのはさらに面倒。(Thriftはまだ何とかなるが、fb303、Scribeは本当に面倒)しかし、偉大な先人はすでにいるものです。「scribe centos」とかでググってCentOS用のSRPMを作っている人を見つけました。http://www.silassewell.com/blog/2009/05/07/scribe-scalable-real-time-log-a
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
