全銀システムの大規模障害、中継コンピューター2台ともに不具合で冗長構成が機能せず

2023年10月10日午前8時30分ごろに発生した「全国銀行データ通信システム（全銀システム）」の障害。全国銀行資金決済ネットワーク（全銀ネット）は復旧に向けた対応を実施しているが、11日午前11時時点で解消のめどは立っていない。 全銀システムは東京と大阪の2カ所のセンターで並行運転し、システムを構成する各種装置や通信回線などをすべて二重化してある。顧客に影響が出るシステム障害が発生するのは1973年の稼働以降、50年間で初めてとなる。 今回、不具合が生じたと考えられるのは、金融機関が全銀システムに接続する際に使う中継コンピューター（RC）のプログラムだ。送金元の金融機関から送金先の金融機関に対して支払う「内国為替制度運営費（旧銀行間手数料）」の設定などをチェックする機能に不具合が生じたと見られる。 きっかけは保守期限到来に伴い、10月7～9日の3連休中に14の金融機関で実施したRCの更改

[TakamoriTarou]

テープ。偉大なるレガシーだ。問題が発生したときによっこらせと現れる師匠みがある。ここはわしがなんとかしたる。でもロートルじゃからそうは長くもたんぞ、ほれ、がんばれ！みたいな

[filinion]

「保守期限到来に伴う中継コンピューターの更改」「冗長化した２台とも不具合」「リブートしたが解消されず」「磁気テープを物理的にやり取りするなどして対応」…門外漢だけど見るからに現場が大変そう…。

[sin20xx]

LTOは確かにテープではあるが、別にレガシーな設備ではないかと。そもそもLTOは現役で現代でも進化している。その上、構成次第では別に遅くもないしアプリケーション側でのサポートも厚いので案外利用負担は低いのよ。

[asakura-t]

不具合が発生しなかった3金融機関のほうが不思議な感じだな。手数料まわりのバグらしいけどそのへんを使ってないとかなんだろうか／根本的なバグっぽいのでバックアップが動かないのは当然だよな（冗長化は関係ない

[prograti]

14行中11行となるとレアケースでテストから漏れたという話でもなさそうな気もしますね。別記事で改修プログラムをテスト環境で試したらエラーが継続したとあるので環境の差異でもなさそうだし。原因が気になる

[fishe]

LTOはレガシーでも何でもなく、現役で使われてるストレージです。HDDより容量的に安価で、データが飛びづらいです

[kamm]

プログラムのバグなんだから冗長構成関係ないしな。それより更新作業で切り戻しできないというそっちの方がびっくりだよ。

[zgmf-x20a]

まあ、RAID構成のhddが2台ほぼ同時期に壊れる事もあるからな。

[REV]

RAID1箱、昔でいうところのFATがブチ壊れたときはどちらのDriveもブチ壊れていてファイルのかなりがスッとんだことを思い出す。

[kz78]

"、ベンダーのNTTデータとの協議を経てRCのシステムをリブートしたが、不具合は解消しなかった"

[retire2k]

冗長構成を同時に更新しなければいけないシステムだったのか？そうでなければ片側だけやるのが安全策だろう。

[deep_one]

まぁプログラムが間違ってるとかだと。

[nisisinjuku]

LTO、枯れた技術だけど今尚現役ってのが素敵。セキュリティ問題でたまに顔を出す縁の下の力持ち的存在という認識。

[utsuidai]

LTO-3とか4辺りで使うのやめた気がするが、現代はLTO-9らしい。しっかりと進化してるんだなー。

[tokuniimihanai]

あのe-taxを作ったNTTデータがベンダーか・・

[chocolate0521]

プランBはないのか？とは思った。 テープがそうなのか(´Д｀)めう？

[hecaton55]

ちゃんと代替手段があったか。やっぱ全銀すげーな

[tokitori]

大昔にRAIDでデータ保護化や！とかやってたらコントローラが先に壊れて結局システムもぶっ壊れてバックアップからなんとかしたことを思い出した

[taguch1]

プログラムのバグだと冗長構成でも変わらないと思うのですが？どういうこと？よくわからなかった。

[iwanofsky]

テープバックアップ。最後の砦だな。

[NOV1975]

アプリのバグっぽいのに冗長構成が機能するしないの話してるの、専門誌の自覚ありますか？

[mas-higa]

LTOって一般的にイメージするテープとは形が違って面白い。ケースに入ってるのに輪がひとつしかない。

[khtno73]

LTOは容量デカくてシーケンシャルなRead/Writeクソ早いから全量移動するなら全然ありよな。

[nP8Fhx3T]

冗長化されたシステムの更改なら一台ずつ正常性確認しながら進めると思うんだけど、同時でないと更改できない仕様でもあったんか

[napsucks]

冗長系を独立して更改できるような設計変更が要りそうだね。同時に更改せざるを得ない設計で同時にコケるようではSPoFになっちゃう。

[so-apps]

システムの更改を、後戻りできない一発勝負でやって負けたってことか。

[hobbiel55]

不具合の発生しなかった3行は自行側で手数料のチェックを行う仕組みだったので大丈夫だったと別記事で見た。

[exadit]

わー、控えめに言って地獄の状況ですね…関係者の皆様本当にお疲れ様です…。

[crosscrow]

LTOは新しいシステムでもバックアップ用途として普通に使われるわな。同じテープでも、CMTとかだったら、「どこからタイムスリップしてきた！？」ってなるけど。

[timetrain]

切り替えるタイミングは冗長性があってもクリティカルになるってことなのかな。対応してる現場はとんでもない修羅場だろうなあ

[akiraki]

サラッとベンダはNTTDだとバラされてて草 >全銀ネットは10日午前9時30分ごろ、ベンダーのNTTデータとの協議を経て

[d0i]

LTO使わないといけない硬いシステム、ちゃんと作れる人尊敬するわ...

[cvtbgspuda]

LTOは普通の運用でおかしくない。冗長設備がちゃんと動かなかったのは痛い。不具合少ないシステムの冗長設備なんていつ試してんだかわかんないししゃーない。

[semimaru]

激熱、痺れる。同じロットのhddを使っていたとしたら同時期に壊れるよね。帰れない人大量発生中。

[R1na]

“ベンダーのNTTデータ”

[mumei-0]

“全銀システムが備える「新ファイル転送」や、LTO（Linear Tape-Open）テープの持ち込みによって処理するようにした。”

[lli]

そうなんだよな待機系への切り替えが上手くいかないことは結構ある。

[sabinezu]

こんな時にあれですが、大規模障害をきっかけに古いシステムの問題、新しいシステムはどうすべきかを考える事を実地体験できるのは貴重。むしろ50年間止まらなかったから、というのもあるかも。