無停電機能を外したまま電源設備を更新、楽天などに影響した九電系データセンター障害の原因判明

九州電力の通信子会社QTnet（福岡市）のデータセンターで障害が発生した問題について、2019年11月26日に停電の原因が判明した。11月23日朝、電源設備の更新作業中に通常時の電源が遮断したことで予備電源に切り替わったが、電源の切り替え時に作動する無停電機能を外して作業していた。その結果、7秒間ほど電源が停止し、利用各社のシステム障害につながった。 今回の障害で、事業継続を安定させる目的で使うはずのデータセンターに、想定外の盲点があると明らかになった格好だ。QTnetによると、影響を受けた約260の企業・自治体の中で、2019年11月26日10時時点で22社が復旧できていないという。 今回の障害の影響で、クレジットカードの楽天カードやスマホQR決済の楽天ペイが11月23日朝に利用できなくなった。楽天ペイは11月25日朝に一時的に使えなくなったり、楽天カードは現在も一部機能が利用できなかっ

[cl-gaku]

例のアドベントカレンダーに降臨してほしい

[prograti]

誤って外したというより、外して行う工程中に事故が発生したということか。それ以外方法がなかったんだろうか？ https://www.qtnet.co.jp/info/2019/20191126.html

[Shin-JPN]

電源工事で「10分間予備系が落ちて片系になる状態がある」のはTier2以下のDCなら褒められないが無茶な工程設計ではなく「その10分間に常用系障害」は同情の余地がある。但しTier3相当を謳う姪浜DCでやらかしたのなら斬首。

[augsUK]

楽天に対する損害賠償すごそう。自然災害でもなんでもないし

[n_231]

UPS……お前だったのか……

[dnsystem]

こんなDC使いたくないな

[gurinekosan]

「電源の切り替え時に作動する無停電機能を外して作業」…ヨシ！(じゃねえよ)

[mur2]

ウップス‼︎ (Uups!)／予備電源の予備電源が必要

[techboon]

なんか耐用年数を越えて数日おきにピーってなるUPSがいて、鳴ったら黙らせるボタン長押しして他の仕事を続ける職場思い出した

[tetsutalow]

この記事読むとオペミスに読めるんだけど原文https://www.qtnet.co.jp/info/2019/20191126.html だと正常な手順踏んでたと読める。過電流継電器が以前から整定できてなかったのが片肺運転時に顕在化したのか？

[deep_one]

うちみたいな中小だと無停電装置をサーバー動かしたまま外せないので逆に起きないわけだが、ラックに無停電電源装置をプラグインするタイプかな。／うちなら「バッテリーパック交換中」で発生するか。

[turu_crane]

見出しで「えぇ…？」ってなってよく読んだけど、「えぇ…？」ってなっただけだった

[karkwind]

すげーなー瞬断だけで、動かなくなるシステムって、これぞTHE日本のITだよなｗ

[zapperd]

北海道のブラックアウトで死んだソフトバンクのデータセンターのことも思い出してあげてください http://nosoftbankno.blog84.fc2.com/blog-entry-508.html

[unfallen_castle]

掃除のおばちゃんが電源抜くヤツのハイパー版だ

[mas-higa]

15年くらい前に法定停電で点検に来た業者が2系統ある送電設備を両方同時に落としてパニックになったことあったなぁ。20年くらい前には UPS の動作確認しようとブレーカー落としたら即給電止まって嫌な汗かいたことも。

[tohima]

うわぁ、予備電源への切り替え時用UPSの交換のタイミングでメイン電源で障害発生なんだ。作業員ミスではなく工程か設計の問題か…

[orangehalf]

手順書通りに行わなかったことによるミスなのか、手順書通りに行ったがその手順そのものに問題があったのか、手順書も問題なく手順書通りに作業したが回避不可な障害だったのかがよくわからん。

[hackapellmanda]

設計の問題なのか作業の問題なのかは気になるところ

[longroof]

“11月23日朝、電源設備の更新作業中に通常時の電源が遮断したことで予備電源に切り替わったが、電源の切り替え時に作動する無停電機能を外して作業していた”ああっ(；´Д｀)

[yuki_2021]

人為的ミスやね。

[iww]

これはひどい

[kazuya53]

これ読んでもちょっと意味が分からない。時系列に沿った説明が欲しいぞ。

[tsekine]

クラウドとは何だったのか。N+2（DC一つはメンテでダウン、もう一つのDCは障害でダウンでも残りのDCでサービスを継続できるようにする）が常識になりますように。

[mamezou_plus2]

リスク通知するか、非停止運用してるなら冗長系に退避させないと。工事屋で安全帯しないで高所作業並に有り得なさそう。人災

[renos]

自分に被害がなかったせいか同情的になってしまう、いたたた…胃がいたい

[JULY]

UPS を外して行う 10 分間の工程中に、過電流が発生して予備電源への切り替えが発生。この障害から学べることは山程ありそう。絶対に現場を叩いておしまいにしてほしくない。

[nao_cw2]

作業手順がおかしい。先に予備を活かすんじゃ無かったか？

[n_pikarin7]

「想定外の盲点｣っえ？

[kaerudayo]

“11月23日朝、電源設備の更新作業中に通常時の電源が遮断したことで予備電源に切り替わったが、電源の切り替え時に作動する無停電機能を外して作業していた。その結果、7秒間ほど電源が停止” これでこの損害か

[Cujo]

『想定外の盲点』それもかんがえてせいふくよびきょてんとかつくらんとな/よびをうしなったときのよびはひつよう（しんちょうすぎ

[gui1]

どんまい(´・ω・｀)

[jsstudy]

ユーザー側も複数のDCを併用する冗長な構成にしておかないといけないということか。

[tecepe]

こんなもん、現場猫「UPSヨシ！」じゃんねｗ

[t-sat]

ぼくがエヴァンゲリオンでおぼえたことば:「可及的速やか」「正副予備の3系統」

[July1st2017]

人災かよ

[gimonfu_usr]

（　／データセンター　）

[beginnerchang]

再発防止策を策定しても、失った信用は戻らないと思うんですけど (名推理)

[cinefuk]

UPS取り外しヨシ！ホスティング業界で #QTnet は悪名を轟かせることになった。楽天payへの損害賠償だけでなく、事業への信頼を含めると損失はいくらになるのか…