Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」

Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」 先週の6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」が開催されていました。 その中で、TwitterのJohn Adams氏がTwitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）が行われています。Twitterのような大規模かつリアルタイムなWebサイトの運用とはどういうものなのでしょうか？ 公開されているセッションの内容を基に概要を記事で紹介しましょう。システム管理者の新たな役割、Railsの性能の評価、Bittorrentを使った

[minamijoyo]

503をカウントする自家製スクリプトにWhale Watcherというネーミングセンスが素敵

[nekoruri]

Sysadmin 2.0

[nilab]

「Darkmodeには、90もの機能を停止するスイッチがある」「プロダクション状態であっても障害から回復するために機能をオフにすることができる」Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）

[sotarok]

twitter darkmode > コードをデプロイするときには、リリースの前に機能をブロックする「Darkmode」を使う。Twitterを使っていて、ある機能が追加されたと思ったら元に戻った、といった経験があるだろう。

[skur2]

結構前だけど再チェックイン

[sin5]

darkmode面白い

[rochefort]

きっと多くの人がRailsの性能の問題について聞いたことがあると思うけれど、私たちが経験した性能の面での問題についてRubyが直接関係したことはなかった。ガベージコレクション、レプリケーションラグ、SQLの問題、ほと

[ahmok]

秒間約3000とかなのか。分間約3000の2chと単位が１つ違う／Rubyが性能に直接影響を与えたことはなかった

[teppeis]

「最大負荷の瞬間は、ワールドカップで日本代表が得点したときの、秒間2940ツイートだった」 [twitter]

[hiroomi]

障害が起きているときのログを分析することはとても大事だ。そこでFacebookのオープンソースのScribeとHDFSへと移行した。大規模な分析はHadoopで行っている

[kazutanaka]

Dashboard, Whale Watcher, Darkmode

[hyoshiok]

258

[ikeikeikeike]

大衆向けは平気かも知れんね。

[hanywany]

あとで読む。絶対読む。

[Mu_KuP]

ここまで来ると、Twitterの運用は未知の領域だろうなぁ。ツイートというデータをどれだけ適切に振り回すのか、人間の叡智を見てみたい。

[yamakaz]

モニタリングの技術凄いな

[adsty]

Twitterが行っている大規模かつリアルタイムなWebサイトの運用。

[ysks]

Twitterのシステム運用の解説

[kiaran]

＞HTTP 503（Timeout）が発生するとクジラの画面が表れて、HTTP 500（error）のときはロボットの画面が表れる。

[pekepekesamurai]

[[あとで読む]]

[AltNight]

へーへー。なんかすごそう！よくわかんないけど！

[myrmecoleon]

twitterの管理の話。「1日に6500万ツイートされており、1秒間だと約750ツイート」「Sysadmin 2.0」「Whale Watcher」面白い。

[kalmalogy]

ユーザー数少ないのに日本の瞬間ツイート数の多さがすごいな。実況文化があるんだな

[masaya-chonan]

「従業員210名」「アクセスの75%はAPI」「1日6500万ツイート／1秒間に750ツイート」「秒間最大3085ツイート(NBAでレイカーズが優勝した時)」

[ikeike443]

SysAdmin2.0ってみんな2.0だな。。弊社のサービスにも2.0って付いてます。うふ。

[takets]

Twitterの障害対応のやり方

[kasumani]

[via:packrati.us]Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」 － Publickey (76 users) http://bit.ly/aaBAvQ – はてなブックマーク::Hotentry (hatebu) http://twitter.com/hateb

[tinsep19]

障害が起きているときのログを分析することはとても大事だ。そこでFacebookのオープンソースのScribeとHDFSへと移行した。大規模な分析はHadoopで行っている

[mi2maru]

これはすごいな…

[masa_matya]

tcpdumpとtcpdstat、yconalyzerを使ってデータ収集。 >Sysadmin 2.0はデータを集め、数学や科学的手法を用いてこれを分析し、何が起きているのかをデータを基に判断する、という役割を果たす。