みずほ銀行窓口業務ストップの真相、DC切り替えをためらい障害が長期化

みずほ銀行で2021年8月20日、営業店の窓口業務が全面停止するトラブルが発生した。前日の19日午後8時53分ごろに営業店端末と勘定系システムをつなぐサブシステムで、データベース（DB）サーバーがディスク装置の故障をきっかけに停止したためだ。待機系DBサーバーへの切り替えも失敗、副データセンター（DC）に処理を切り替えた。副DCへの切り替えに着手するまで11時間超を要し、業務開始に間に合わなかった。 みずほ銀行で2021年8月20日、全463店舗で営業店端末や店頭のタブレット端末が使用不能になった。午前9時の開店から午前9時45分までは全ての店頭取引ができなくなり、その後も午前11時58分まで融資や外国為替（外為）の一部取引ができなくなった。営業店端末などと勘定系システム「MINORI」をつなぐサブシステム「業務チャネル統合基盤」が前日の8月19日午後8時53分ごろに停止したためだ。 業務

[mkusunok]

読んでて胃が痛くなるような臨場感のある記事。DC切替なんて総合テストでしかやったことがないけど、大概ジョブネットではコケる部分が出るし、元々手順書になかった一部システムのみ切替を深夜に決断とかしたくない

[kz78]

事前の手順書に従うのは当然というか、夜中に追い詰められてから作った手順書は落とし穴が怖い…。

[mmddkk]

これを読むと、逆によく当日中に復旧できたな、という感想。本当はもうちょっとテストしてから実施したかったんじゃないかな。

[Falky]

記事を読む限りでは、「時間を浪費した」というのは結果論だな。ためらったのは妥当だと思う。問題にするならば、躊躇せずに実施できるプランが事前に策定されていなかったこととかだろうね。なかなか難しいが。

[hobbiel55]

これだけ富士通からの復旧案がことごとく失敗してるのを聞かされるとみずほ側に同情しないでもないが、発注者として異常系試験が十分でなかったのを見過ごした報いだと思ってがんばって。

[tana_bata]

電源入れ直しとかディスク抜き差しとか銀行でもあるんだなーという謎の感動

[tsutsumi154]

まあ副作用読んだら躊躇うのは理解できる 未だに千葉で運用してて戻せる見込みないとなれば尚更

[bloglider]

"ディスク装置が1台故障"からの"ミラーディスクも故障"は同じロットの同じ型式だとありがち。後続の系切替の失敗とか現用系での復旧に固執とか、読んでて胃が痛くなるし、夜中の系切替手順書作成とか綱渡りで辛い内容

[K-Ono]

開発が地獄なのは読んでたけど、これ運用も地獄じゃねえか。障害発生してから手順書作成とかすげえ。

[gfx]

いやこれは「ためらい」とか判断力の欠如とかそういうレベルの話ではないでしょ。現場の人間が頭を手を尽くした様子が伝わってくる…。 それはそれとしてこのシステムはもう人間が保守するには複雑すぎる感。

[maple_magician]

ミラーが後追いで逝くのは半ば常識のような。

[mfluder]

これは死ぬる…

[hobbling]

私も昔こういう冗長化postgeSQLの設計構築したけど、今現在ちゃんと動いてるのかねぇ……まぁ10年以上経ってるからさすがに仮想環境に置き換えてるか

[zyzy]

これはまぁまぁ最善尽くしてるのでは？

[legnum]

ようやく読んだ。当日急に今までテストどころか計画すらしてなかった切替に踏み切るって相当な事なのに手順通りに進めた事を「固執」とか結果論でぶった斬られるのあんまりだな

[georgew]

自分が徹夜対応の当事者だったら生きてたかどうか心許ない。DR試験って簡単に言うけど社会的影響大な巨大システムの切り替え試験って実際問題できるのかどうかっていう...

[filinion]

…IT関係は全くの門外漢だけど、読むだに恐ろしい状況なのがわかる。っていうか、いまだに「復旧」はしてないのか…。

[kzm1760]

"千葉DCへの切り替えをもっと早く決断していれば" いや〜この時系列書いててその感想浮かぶのか。ディスク故障が最終的にDC切替なんて普通考えられないよなぁ。もちろんそれも含めた重要なシステムではあると思うが。

[blackshadow]

ただの第三者ですら読んでて胃が重くなるような内容。徹夜で作業した担当者は胃痛どころじゃ済まないだろうけど。

[spacefrontier]

書かれている時刻が生々しい…。自分の関係する他行でかつて行われていた定期の夜間保守もこんな感じ。トラブルが発生した場合、午前2時半までに解決の目途が立たなければ切り戻し。午前6:30には全系オンライン。

[dbfireball]

読んだけど可能な限り現用系での復帰を試みるのはそんな間違ってるわけじゃないよなぁ、、、

[T-miura]

“データベース管理システム（DBMS）は富士通の「Symfoware Server」”、、、これ、RDBとは別物なんかね？ポスグレのカスタマイズ版かな？oracleとか、exadata使わないんやな・・

[omocAll]

次の時点で設計ミスかと。「今回の障害では、稼働系のディスク故障によって待機系へのログ転送が停止し、待機系のデータの最新性を保証できないとシステムが判断したため、稼働系から待機系への自動切り替えが失敗」

[daybeforeyesterday]

うーむ

[nmcli]

これだけ社会にとって影響ありすぎるシステムが、割とシステムあるあるで説明できるレベルの障害なの悲しいな

[onesplat]

失敗しまくってて草。起動しない待機系って意味あるのか

[TokSok]

独立系SIってみずほを給与振込口座に指定するとこ多かったような。

[sangping]

“勘定系の全システムを切り替える手順書しか存在しなかったのだ。そこで（中略）業務チャネル統合基盤のDBサーバーだけ千葉DCに切り替える手順書の作成を依頼した。”　全システム切り替えじゃダメなのか。

[rxh]

これはなんか同情してしまう…

[jun6428]

みんなの預金が無事で良かったねという感想。

[smura0]

結果論でDCサイト変えて上手くいったものの、事前テストしていない、切り戻し不可が目に見えるDBのみサイト変更とか怖すぎるので、メインサイトで復旧優先で正しい選択のような気はする。とりあえず厄除け推奨。

[birds9328]

マルチベンダシステムで特定機能のみBCPサイトに切り換え…いや固執というかそんなもん設計時には想定してないよなぁ……なんというか、お疲れ様です

[lackofxx]

この書き方はかわいそうかなぁと。自分が逆の立場でも、出来るだけ回避したいわ…

[mugicha1000]

DR拠点が同じ関東圏内にあるのってどうなの?

[nishik-t]

こういう現場って狼狽えて胃が痛くなるタイプとアドレナリン出まくって普段以上のパフォーマンス出るタイプがいるよね。俺は後者だけど、乗り切った時の仕事した感が半端ないんだよね。

[kazuau]

読んだだけで胃が痛くなりそう。千葉のDCはディザスタリカバリしか想定してなくて、直近のトランザクションの整合性までは担保してないのでは? だとしたら切り替えるのにはかなりためらうよね

[sanemat]

千葉動いてよかったね

[eerga]

編集に悪意がない？この状況ですぐ千葉に切り替え判断は無理でしょう。課題があるとすればアーキテクチャだと思うけど、銀行勘定系へ適用実績のあるもので今より高可用性と判断できるものはないんだろうな。

[otchy210]

Google とかのもっと大規模で深刻で単位時間当たり損害が大きな障害が、長くて数時間、ものによっては数分で復旧してるのを見慣れてると、もう日本のベンダーに高可用性システムは無理なんじゃないかと思ってしまう。

[masadasu]

今時ネットに繋がったコンピュータは地球の裏側からでも破壊できるので国産の分品を使うべき。それでもかなり怪しいけど。他の選択枠は無い。