すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ、全銀システム通信障害の詳細を説明 | gihyo.jp

すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ⁠⁠、全銀システム通信障害の詳細を説明 全国銀行資金決済ネットワーク（以下、全銀ネット）とNTTデータは12月1日、2023年10月10日～11日にかけて全国銀行データ通信システム（以下、全銀システム）で発生した通信障害に関する報道関係者向けの説明会を開催しました。本件についてはNTTデータが11月6日に行った途中経過報告の内容をもとにレポートしましたが、今回、全銀ネットとNTTデータが揃って会見を行ったことで、より詳細な障害の原因が判明したので、あらためてその内容を検証してみたいと思います。 説明会の登壇者。左から、全銀ネット 企画部長 千葉雄一氏、事務局長兼業務部長 小林健一氏、理事長 辻松雄氏、NTTデータ 代表取締役社長佐々木 裕氏、取締役副社長執行役員 鈴木正範氏 なお、全銀ネットとNTTデータは、今回の障害に関して金融

[coloriycom]

日本のit現場って、何よりスケジュール優先の印象あってそれがダメな気がしてる。

[syu-m-5151]

あとから我が物顔で指摘するのは簡単なんだよな... 公開していただけることに感謝。

[fujihiro0]

すばらしいまとめ。全ICTエンジニア必読。初期の報道にあった64bitとメモリ不足もあながち間違いではなかったのか。

[shibainu1969]

「99点じゃ駄目で100点」という話。ほとんどのシステムが障害の影響と100点にするためのコスト・スケジュールを天秤にかけて99点より下を選ぶ。そんな中で100点取れるエンジニアを確保しつづけることができるのか。

[miquniqu]

毎回数千のテストをしたのにって書くけど観点漏れしてたら数万でも意味ないし、下手におかしな状態で動き続けるより5分でさっさと死んでくれたのはむしろ良かったのではないかと思うけど。

[turanukimaru]

mallocするメモリサイズが正しく計算できないならC言語を使うなJavaでもPythonでも良いからメモリ安全な言語を使え。としか言えん。理解が必要なものは理解しなかったときに壊れるんだから理解不要なコードにするしかない

[miau]

文字コード好きとしては「特定のカナで始まる一部の金融機関のインデックスが壊れてしまっていた」が気になったけど、これは単に読み仮名でソートされたインデックスの後半が破損したって話かなー

[red_tanuki]

ここまで詳細に追いかけてもらえると、一つ一つは些細でも積み上がると爆発するという恐怖を思い知る。こんなの単純なミスといえるほど傲慢にはなれない。

[houyhnhm]

あるあるだが、そもそもテストの建付けがおかしそう（x32とx64のギャップってほぼそこやん）／切り戻しの計画が絵に描いた餅で不可逆やってんのイカれてる／多分費用面でイジメられてそうだなあ。

[uunfo]

これはまずいと思った人がいないって本当に？下請けからの指摘を本社の人が握り潰しましたとは言えないから、表向き誰も気づきませんでしたとしたような。11月時点で64bit化との関連が分かってなかったとは思えない

[quick_past]

本社のプロパーに技術の分かる人が全くいないと想像＞NTTデータ

[xlinux2020]

現場の数名は気づいていましたが・・・のパターンでは？ それを今言ったら責任問題に発展しそうで言わないだけで。

[poTracy]

現場のITエンジニアの皆様本当にお疲れ様です。読んでて胃が痛かったです・・

[Mash]

テストの観点が足りなかったのか

[IGA-OS]

サンプルとなるやつ

[sora_h]

手計算がこう…すごいよね…

[blueeyedpenguin]

"50年の安定稼働の実績" さすがにこの状況ではテストが甘かったとは責められない…にんげんだもの

[kura-2]

技術以外の問題のほうが長期的に影響でかいのではという気がする。

[Ves]

後からは何とでも言えると言うのは分かるけど、本当に必要なテストができていないのは間違いなく、パターン数の問題じゃないよね。結局障害発生後の対応もスライドを見ると駄目でしたマニュアル化しますだし…。

[Mezzoforte]

システムが計算してた手数料を暫定対処で０円にしている現状、誰がツケを払ってるのでしょうか？

[leiqunni]

胸がギュッとなる。

[bx19tri]

BSS/heap のオーバランしたところに別プロセスが書き込みできるわけがないよね。Linux だよね。

[tettekete37564]

スケジュール優先なのは人月単価に縛られているから。人月単価ベースなのはSIerがPG・SEを作業員として見てるから。作業と見るのは設計を含むコーディングを技能ではなく作業と見てるから。

[yabu_kyu]

「なお、全銀システムは2035年までに現行のRC方式を廃止し、APIゲートウェイによる接続方式の一本化を目指しています」

[MERCY]

要するに障害が発生した部分は、ほぼ単体試験のみだった（120万通り以上のうち0.5%未満しかテストしてなかった）？結合試験はまぁ有るかなと思うけど、同居する他のプログラムが動いてない総合試験って何？

[kz78]

あー、結合試験はもちろんやってたんだけど、結合試験中は他のプログラムが動いてないからメモリが溢れても破壊されなかったと

[asakura-t]

メモリ領域が（おそらく）固定で取られているのは、銀行数の増減を動的に把握するのが難しい設計になってるから（なので銀行数には上限がありそう）と思ってるんだけど、実際はどうなんだろ？

[n_vermillion]

日本のITっていうかSIerは自分達で何か作るんじゃなくてほとんどが誰かの下請仕事なのでスケジュールも相手の言いなりで兎に角立場が弱い。業界自体が歪んでるんよ。

[ET777]

門外漢だがそれでもこういうの公開するからITはえらいよなと思う

[octa08]

切り戻しもできず、根本原因わからんけど、エラーってるとこ回避して修正プログラム作って走らせたら違うエラーで動かないとか絶望やね……午前3時の改修プログラムエラーがツラすぎる。

[mugicha1000]

読んでてしんどくて吐きそうになりました・・・😣

[about42]

“全銀システムが初稼働から50年に渡って安定稼働してきたことに依拠し、「⁠大規模障害は起きない」という潜在意識があった”事故は起きるさ…とはいえ50年すごいな。

[hatest]

「すべてのフェーズでミスが重なった」←世に出てるバグはすべてそれで片付けられると思うが？

[estragon]

バグの作り込みは仕方ないが、メモリ確保領域を超えたらエラー発生させるべき。システム試験で発見できないのはより深刻 / サービスイン後は切り戻せないのは仕方ないか。障害対応は経験なので下手なのも仕方ないか

[bml]

そんなのわかるやんと思いつつ内部にいると意外と見落としとかありがち。

[kagerouttepaso]

不具合の直接原因は事前把握困難だったがBCPはずさんだったという印象を持った。

[Yagokoro]

正副同時にアップデートしたのがあまりにも致命的な判断ミスだな

[trace22]

自分で確保して自分で展開してたら製造レベルでもわかりそうなもんだが。設計と製造の断絶といえばそうだけどRC-17時点でそう言う動作になってたの認識されてたんかな。

[enhanky]

良記事。「ロールバックしろよ」と思ったけど、稼働後だとできない事情があったのね。ミッションクリティカルなシステムは大変だ。

[htnmiki]

”設計/製造⁠、試験⁠、復旧 ―すべての工程でミスが発生”　つらい。しかし50年障害発生してなければ気も緩むよなあ。