サービス障害を起こさないために、障害を起こし続ける。逆転の発想のツールChaos Monkeyを、Netflixがオープンソースで公開

サービス障害を起こさないために、障害を起こし続ける。逆転の発想のツールChaos Monkeyを、Netflixがオープンソースで公開 米国でビデオオンデマンドサービスを提供しているNetflixは、Amazonクラウド上でわざとシステム障害を起こすためのツール、Chaos Monkeyをオープンソースで公開しました。 Chaos MonkeyはAmazonクラウド上で使うツール。Amazonクラウド上のインスタンスをランダムに落としまくることで、サービスに対して仮想的な障害を引き起こしてくれます。 NetflixはこのChaos Monkeyを実環境で使うことで、本物の障害が起きたとしてもサービスが継続できることをテストし続けてきました。Netflixのブログ「Chaos Monkey released into the wild」から引用します。 There are many fail

[sato0427]

これって本番障害と区別つくのかね？「これは演習ではない！繰り返すこれは演習ではない！」

[hxmasaki]

避難訓練

[wasai]

運用する側からすると、たまったもんじゃないツールだ

[Cujo]

監視担当『やめてください。しんでしまいます（AA略』

[terazzo]

ある意味予備交換みたな感じかなー。あるいはエビデンス付きのチェックリスト的な。

[drumsco]

「繰り返す。これは訓練ではない。これは、訓練ではない。」 そう、訓練と実践を別けないという発想。

[bootJP]

サービス障害を起こさないために、障害を起こし続ける。逆転の発想のツールChaos Monkeyを、Netflixがオープンソースで公開 － Publickey

[kita-tuba]

サービス障害を起こさないために、障害を起こし続ける。逆転の発想のツールChaos Monkeyを、Netflixがオープンソースで公開

[sifue]

普段から障害訓練するのは重要だと思うなぁ。ソフトウェアの運用はチームワークなのだし、普段から訓練するのは当然のように思う。

[yoseic]

Chaos Monkey“障害があることを日常とする”本物の障害が起きたとしてもサービスが継続できることをテスト／この思想はつかえる

[at_yasu]

“昨年、Chaos Monkeyは本番環境やテスト環境で6万5000以上のインスタンスを強制終了させました”

[kyrie_leison]

Chaos Monkey: わざと障害を起こし、障害が起きてもサービスが継続できることをテストする

[kkbt2]

「あえてわざと管理された範囲内の障害を日常的に引き起こし、それに日常的に対応できていることを証明し続けることで、本物の障害が起きても問題なく対処できる」

[Jxck]

お、 Chaos Monkey 公開されたのか。

[takadayuichi]

逆転の発想や

[masutaka26]

昔見たこの記事、Netflix だったんだ

[hidehara]

なるほどぉ。冗長化, オートスケールなどで組まれたシステムにはフィットするなぁ。これがあれば、専門の運用チームのスキルアップは勿論、その必要性もはっきりと関係者間にわかりそうなのがGood。

[bouzuya]

これ使いたいんだよなー

[raitu]

動画配信大手のNetflixは、実環境でAmazonクラウド上のインスタンスをランダムに落としまくって、それでもサービスを日常的に継続できるようにしているとのこと

[ham007]

おお、これはなんという発想

[itochan]

DoS攻撃ツール

[dagjmpd]

RT @akipii: 故意に障害を起こして障害のフォローを想定したテストも可能になる。設計手法がどんどん変わりつつある。　サービス障害を起こさないために、障害を起こし続ける。逆転の発想のツールChaos Monkeyを、Netflixが

[MATSU]

避難訓練にいいなこれ。サービス障害を起こさないために、障害を起こし続ける。逆転の発想のツールChaos Monkeyを、Netflixがオープンソースで公開 － Publickey

[takatoshiono]

障害すら常にテストするわけか。　サービス障害を起こさないために、障害を起こし続ける。逆転の発想のツールChaos Monkeyを、Netflixがオープンソースで公開 － Publickey http://t.co/rqUr4pTy

[sol_cubano]

日常的に事故が発生している状況を作り出すことで、本当の障害が発生しても確実に対応できるようにする。すごい。

[mikage014]

サーバーはしばしば落ちるものだというマインドを植え付けるのにいいと思う。そうしないとサーバーが落ちないことを前提に物事を進めがちになる。

[yosuke_furukawa]

すごいな、まさに逆転の発想。でも避難訓練じゃないけど、障害対策訓練はするべきだと思う。

[stibbar]

> しかし、システムが大規模になればなるほど、そのどこかで障害が起きるもの。であれば、あえてわざと管理された範囲内の障害を日常的に引き起こし、それに日常的に対応できていることを証明し続けることで、本物の

[calpo]

エンダーのゲーム

[mojimojikun]

コレ http://t.co/dOuRP7Qy こういうのと合わせて運用するとさらに良いかもわからんね。

[pokutuna]

ほほー

[John_Kawanishi]

「AmazonCloud上のInstanceをRandomに落としまくることでServicesに対して仮想的な障害を引き起こしてくれますNetflixはこのChaos Monkeyを実環境で使うことで本物の障害が起きたとしてもServicesが継続できることをTestし続けてきました

[filinion]

まあ、トラブルに対応するのが職務のうちなら、訓練を行っておくのは必要なことだろうなあ。“This is not a drill. repeats. This is not a drill! ”

[adliblogger]

追加の人件費が必要

[adsty]

障害があることを日常化して耐え抜く運用管理。