パッチ盤からケーブルを引っこ抜いてしまいCloudflareに障害発生。ケーブルにラベリングされておらずどれを戻すべきかすぐに分からず

パッチ盤からケーブルを引っこ抜いてしまいCloudflareに障害発生。ケーブルにラベリングされておらずどれを戻すべきかすぐに分からず CDNプロバイダのCloudflareは、世界協定時4月15日の午後3時31分から午後7時52分（日本時間4月午前0時31分から午前4時52分）まで、ダッシュボードおよびAPIが使えなくなるという障害を発生していました。 Cloudflare Dashboard and API Outage on April 15, 2020https://t.co/zJctsOomVf — Cloudflare | #BuiltForThis (@Cloudflare) April 16, 2020 同社のブログ「Cloudflare Dashboard and API Outage on April 15, 2020」によると、同社の2つのコアデータセンターのうちの1

[hatomugicha]

どんな分野にも頑なにラベル貼りを拒否する人がいるけどイマイチ理解できない

[netcraft3]

掃除のおばちゃんがケーブル引っこ抜く系の障害だ。自分も経験ある（金融系コールセンター）。ケーブルへのラベリング大事。

[Cald]

なぜその担当者は、そのケーブルを抜いていいと判断したのだろう。ラベルもないケーブルを抜くなんて何が起こるかわからないじゃん。ラベル云々よりも、運用管理プロセスに問題ない？

[yujimi-daifuku-2222]

ケーブルに物理的なタグやラベルを付ける泥臭い管理法はオンプレのインフラ管理の基本のキですが、今後少しずつ失伝していくのでしょうね。/オペミスは必ずあるんですよ。復旧が容易に可能なところまで詰めないと。

[Keisuke69]

そうか、データセンター事業者とかデータセンターにあるオンプレインフラを管理運用する人はこの状況でも現場出張らないとなのか。クラウドの中の人たちも含めて

[masatomo-m]

"フェイルオーバーは簡単だけれど障害復旧後にフェイルバックする作業が非常に複雑" 全部自動化しているのかと思っていたが、Cloudflareレベルでもこういう部分があるんだなあ

[kanai6274]

抜去するときにアラーム監視しながら3秒ルール適用してないの？？？

[programmablekinoko]

物理的障害を論理解決するの凄い

[prograti]

ラベリングしてなかったなんて本来は公表したくない内容でしょうけど、ちゃんと公表する姿勢は良いですね。こういう正直で透明性のあるインシデントレポートは大切だと思います。

[dazz_2001]

完璧な指示書や、完璧な環境なんて見たことない。よほど変な間違いがない限り、エスカレーションなんてしていたら、永遠に作業など終わらない…

[yskn-beer]

あーーーお客様ーーーーあーーーーお客様～～～～～～～～～～～～～～

[dltlt]

あの規模のサービスで、パッチパネルが単一故障点に……？？

[ekinasea]

2020/07/15、Cloudflare、毎秒7億5400万パケットのDDoS攻撃に自動処理で対応 （Cloudflareは2020年6月に起きた大規模DDoS攻撃に対して自動処理だけで対応できたと発表～）↑同じ会社がケーブル引っこ抜き。「引き抜く」じゃないのね

[fjtknj]

リモートサポートしかしていない人たちは絵に書いたようにキレイに整っていると思ってる。自社運用しているオンプレミス環境を持っているならだれかが物理構成を正確に把握しているのは必須。ラベル無は問題外

[lowpowerschottky]

抜いていけないケーブル

[bk246]

"そして結局、失われた接続を復旧する方法を選択します。()ディザスタリカバリーのテストの経験から、フェイルオーバーは簡単だけれど障害復旧後にフェイルバックする作業が非常に複雑だから、でした。"

[launcher]

目眩が...

[hdkINO33]

“これまで同社が行っていたディザスタリカバリのテストの経験から、フェイルオーバーは簡単だけれど障害復旧後にフェイルバックする作業が非常に複雑だから、でした。” 気持ちはわかる

[maetes]

最近のクラウド系大規模障害は比較的物理が多いイメージ。やはり最終的には物理か

[kabacsharp]

フェイルオーバーの意味なし。。。“ディザスタリカバリのテストの経験から、フェイルオーバーは簡単だけれど障害復旧後にフェイルバックする作業が非常に複雑だから”

[ka-ka_xyz]

ほぼ同時に https://twitter.com/tea_texiamato/status/1251801605269147648 が流れてきた

[naga_sawa]

ラベルは付けるとしてそのラベルには何を記載しておくべきか/差し込む機器とポート番号+対向の同情報をそれぞれ両端に付けてるけど我流だから正しいか不明

[yoshi-na]

下請けの障害発生(全世界規模)が自分の引っこ抜いたケーブルとか怖すぎる

[t-cyrill]

ラベリングしてないの謎すぎるんだが

[kazema_tsu]

のんきにしているけど、明確に管理されていない運用基盤使うの怖いって人があまり居ないのが理解できない。

[shozzy]

おおぅ。現場猫案件。

[Akkiesoft]

肝が冷えるゥゥ〜〜！！

[HACHI-BAY]

ウチもLANケーブルと電源ケーブル、一部USBケーブルにはラベル付けてる。後で困るのは自分。

[burnworks]

はたから見ると本当にくだらなくみえるような理由で障害って起こるのよね…

[Vorspiel]

あー…ラベル貼るのって実にめんどい作業なんだけど、やっておかないとこういう時に死ぬよね…

[tofu-kun]

他人事じゃない

[ikedas]

パッチパネル側の設計も、場所を区切って用途別に割り当てたりするもんだけど、そういう事もやってなかったのかな。拡張プランも重要になるから、あまりやってないのかな。引き継ぎ失敗であるある筆頭は予備線よね。

[and_hyphen]

ケーブル引っこ抜く方は何回かやったこあるけどね、配線するときに引っこ抜くこと考えないひと多すぎだよまじで、ラベリングも勿論だしさ、辿れないように配線するのやめてくれる？？？

[rryu]

まあキャビネットに使っていない機器しかない状態だったらケーブルも引っこ抜くよね…

[anoncom]

掃除のおばちゃんで見かけるネタ話の現実版

[dnsystem]

ほっこりニュース

[yug1224]

物理ラベルって大事なんだなぁ

[rgfx]

グッと来る。。