みずほ銀行のシステム障害特別調査委員会報告書を読んで｜つっちーさん

おはよう人類。 2月28日のみずほ銀行のシステム障害を発端として、3月に計3回、その後も8月に3回のシステム障害が発生し世間を騒がせている。メガバンクの中でも最新かつ先進的なシステムを採用し、しかも本格稼働してすでに2年以上たっているシステムで、なぜこのような障害が連続するのか、なかなか理解しがたいものがある。 このうち、2月28日の第1回目障害から3月中に発生した計4回の障害については、6月15日に外部の有識者によって構成されたシステム障害特別調査委員会による報告書が発表されている。本文は167ページに渡るボリュームなのだが、結構内容に目を通している方も多く、TwitterやBlog、Yotubeなどでも報告書の解説を試みている方もおられる(あまり目を通してはいないが)。 みずほFGの全面的なバックアップがあったとはいえ、限られた時間でこれだけの内容をまとめ上げるのも大変だったと思うし、

[inose660]

7回目の障害が最も筋悪で、ホストのディスク障害でATMがコケたというのは衝撃的。というか俄には信じがたく、事実なら設計や運用が報告書よりもずっとマズいし、事実でないなら組織の報告連絡体制が余計にマズい。

[inet_malic]

一人称「弊猫」が気になって内容が頭に入ってこない。猫の一人称は「我輩」ではないのか | 再発防止策でHW交換ってのはヤバイね。HWは壊れる前提の設計になってないのかね。確かに設計の妥当性は検証してほしいなあ

[mmddkk]

ちなみに色弱の私には、2番目の表の「緑」と「オレンジ」の区別ができないのであった（まったく同じに見えて自分でも驚いた）。明度などを変えてくれるとうれしい。

[ippeichangg]

この人なんでこんなに詳しいのかいつも不思議／勘定系は複数のサブシステムの疎結合で構成されていて、エラー時のロールバックにおいてそれらの整合性をとる機構が必要だけど、そこが駄目っぽいと個人的には見てる

[Mu_KuP]

論理的耐障害設計ってのは、サーバの性能が上がった事によるシンプル化やHW/OSレベルの共通化と冗長技術に伴って廃れかけてる技術なんだが、みずほ銀のシステムはこの技術が必要なほど複雑な構成なんだろう。

[kagehiens]

みずほが教えてくれたことは糞システム開発プロジェクトからは出来のわるい（要件を見かけ上で満たす為だけの）システムが生み出されるということ。なお、平和なプロジェクトからもまれに糞システムは生み出される。

[toro-chan]

機能をクラスとして分割するレベルの、システムの本質を何一つ分かってない人が設計したんだろう。よくあることだ。今デバッグ中だと思えばいい。

[NOV1975]

若干中の人感あるな。僕も書きたいことそれなりにあるがまだ自重。一つだけ言っておくと、マクロな設計自体は悪くないんだよ。体質がそれを台無しにしている

[kkobayashi]

構成的には冗長化されてるけどロクにテストもしてないから肝心な時に動かなかったように思えるな

[beerbeerkun]

リカバリー難しいだろうな。もう一回作り直すのと変わらない工数食いそう。近寄ってはいけない案件。

[mas-higa]

s/取引表通/取引共通/

[tattyu]

読めば読むほどみずほ使わんとこって気持ちになる。

[ys0000]

初見なので、おはよう人類～弊猫までのくだりが混乱した。賢い猫の素敵な分析でした。

[nilab]

みずほ銀行のシステム障害特別調査委員会報告書を読んで｜つっちーさん｜note

[eirun]

ざるっと見た感じ政治的な要請で書かれた報告書って感じ。真実を望む人が、そもそも関係者の中にいるのか疑問だ。

[electrolite]

元々できない子なのに、優等生でも出来なかったSOAなんて志向している段階で終わってる。きっとIBMあたりがPwCCの総力を注ぎ込んで、既存システムをロストしないようにトップに擦り込みまくったんだろうな。

[burabura117]

SOAで分散トランザクションかぁ…こんな感じで分割すると、障害ポイントが激増して障害時の動作の妥当性を担保するための工数や難易度が跳ね上がるんだよな。出来てれば素晴らしいと思うけど、ダメだった感が。

[elm200]

システムをきちんと維持できなければいずれ市場から駆逐されるという形で、そのバグだらけのシステムを使わずに済むようになるんだろうね。

[Gim]

いまいちな分析。問題点の整理ができていない。NetAppのメモリ障害を発端とした障害を例にすると、(1)メモリ障害自体、(2)メモリ障害時にコントローラが切り替わらなかった問題、(3)リカバリ運用の問題、etcと問題点は(略

[diveintounlimit]

“大規模システム障害の教訓が、このまま生かされないまま次の障害を迎えたとなれば、あまりに従業員、預金者、取引先、投資家が報われない話になってしまうだろう”もう何回か障害起きてるんだよなぁ

[Lumin]

疎結合なアーキテクチャで一番しんどいのが例外発生時のロールバック処理で、一番しんどいけど無視しても「完成」したことになっちゃうのもここ。で、いざというときに致命的な問題を引き起こしてくれる

[kastro-iyan]

MINORIは単なるシステム統合だけじゃなくCOBOLからJavaへの言語移植も並行でやってるんだよな…

[dagama]

バグってるところに冗長化入れることで確率論的に動くことを期待したシステムって感じだ

[koonya]

ATMが止まる銀行は利息計算とかちゃんとできてんのか不安だし、何より預金が守られてるのか謎。銀行法で担保はされてるかもしらんが、申告無しで対応されるとも思えない

[n_231]

もうね、新しい金融システムパッケージ買ってきて、なるべく多くをそちらに移行する、みたいにするしかないんじゃないかね

[runeharst]

SES会社「お、これは要員を常駐させやすそう！」SES常駐者「ここには行きたくないなぁ…」

[mouki0911]

完全一元化ってどういう意味、、、？

[bml]

ついに完成したかと思ったらハリボテだった。だましだまし20年は使ってから再開発かな。他所がシステム刷新するときに便乗してうちもってやりそう。

[hazel_pluto]

もう潰してしまった方が、早いんだろうな。

[bnckmnj]

面接した会社がみずほの下請けの下請けがメインってその場で明かされて、非公開なんです、って念押された。以来、自分の会社で責任持てない企業、って印象。いくらみずほを責めても自分事に受け止める社員多分いない

[catbears]

似ている3本のプロセスを一本化する、この短文だけでも死に至る病なのが感じ取れるがサラッと致命の一撃が抜き身でポケットに入ってる感がすごいする。

[CCC]

基本思想だけ見ていても、業務、運用と設計がごっちゃ混ぜ。一元化というのが個人的にはシステムの規模が大きすぎて机上の空論としか思えない。どういう問題をどういう順番で解くこと自体混乱している。

[otoan52]

設計思想やばいな。粒度がそろってないし変に細かい…。短く簡潔な項目ほど「誰も関心を寄せなかった」部分なんだろうな。

[est-ferelith]

“MINORIで起きた一連の障害分析の妥当性”

[blueeyedpenguin]

起こるべくして起きたのだから、経営陣がこの事態を予測できていなかったとしたら本格的にヤバい

[estragon]

“ほとんどの障害で複数の機能ブロックの間をまたいで発生していることがわかる。また上の表で表現しきれていないのだが、障害の発端となったブロックや故障が別のシステムに影響を与えるという障害が多く、特にサー