パッチ盤からケーブルを引っこ抜いてしまいCloudflareに障害発生 ケーブルにラベリングされておらずどれを戻すべきかすぐに分からず

この記事は新野淳一氏のブログ「Publickey」に掲載された「パッチ盤からケーブルを引っこ抜いてしまいCloudflareに障害発生。ケーブルにラベリングされておらずどれを戻すべきかすぐに分からず」（2020年4月20日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 CDNプロバイダーのCloudflareは、世界協定時4月15日の午後3時31分から午後7時52分（日本時間4月午前0時31分から午前4時52分）まで、ダッシュボードおよびAPIが使えなくなるという障害を発生していました。 同社のブログ「Cloudflare Dashboard and API Outage on April 15, 2020」によると、同社の2つのコアデータセンターのうちの1つで、パッチ盤から間違ったケーブルを引っこ抜いたことが原因で、対策チームは新型コロナの影響で全員在宅のまま仮

[ytRino]

最終的には物理

[drumsco]

機能要件の押しに負けて、整理整頓などにリソースを割かなかった結果、大きな負債を背負うことになったという事例。どの現場でも潜在しているリスク。

[fukuroiri]

リスク予防では、確率に過ぎない未来のあらゆるリスクを想定し、それらについて真面目に対策を実施しておく必要がある。機材にラベルを貼ることは、最低限の簡単な予防策なのだが、ほとんどの人間は実施しない。

[hdkINO33]

“ネットワークの物理的設計、そして基本であるきちんとしたラベリングなど、同社はネットワークエンジニアリングの基礎をもう一度見つめ直したことでしょう。”

[kana0355]

“抜いていけないケーブルが引っこ抜かれたのです。”

[lowpowerschottky]

“物理的な単一障害点”　　物理障害を　対策スタッフが　在宅のまま　仮想チームを結成して　対応、復旧させた x 抜いていけないケーブル

[viperbjpn]

作業前の手順確認やパッチーケーブルのラベリングなどを確認するの大事。事前確認がトラブルを救う。あるあるなんだけどね。