バックアップ、5年「OFF」 富士通のマニュアルに誤り 東証システム障害 | 毎日新聞

東京証券取引所のシステム障害で全銘柄の売買が停止され、株価が表示されない証券会社のボード＝大阪市中央区で２０２０年１０月１日午前９時５２分、平川義之撮影 東京証券取引所は19日、全銘柄の売買取引を終日停止した1日のシステム障害を巡り、故障した機器のバックアップへの切り替えが作動しない「オフ」の設定になっていたと明らかにした。機器を納入した富士通のマニュアルに誤りがあり、東証は約5年間にわたり状況を把握していなかった。 東証によると、システム障害は、取引システムの運用に必要な情報を記録する「共有記録装置」が故障したため発生した。故障した場合、バックアップへの切り替えを「オン」に設定していれば即…

[moons]

ありがちすぎる。もともとの機器のマニュアルに書いてなかったけど、都合の良い動きをするから、そのままヨシとしてたのがサイレント修正されて死んだのかなあ。/富士通製の機器マニュアルが未更新だったとのこと

[supra]

バックアップOFFって、バカっぽいタイトルになってるけど報告書見ると結構無理ゲーよ、これ。あとディスク優秀ってコメあるけど、単ディスク障害でNAS止まらないし割りと頻繁に壊れてオンラインで交換しているはず

[moonieguy]

いうてこれまではうまく切り替わってたこともあったんやろと思ってたけど5年間そういう障害自体発生してなかったと。

[yabu_kyu]

OEMであることが端折られてると大分印象が違う。　https://pr.fujitsu.com/jp/news/2020/10/19-2.html

[whkr]

ｵｩﾌ…

[kuzumimizuku]

説明上わかりやすく「オン」「オフ」という表現なだけの気もするけどどうなんだろう。純粋に「オフ」だったとすると、15年9月以降は「障害が発生し内部的には切り替わってた」もなかったことになる。ディスク優秀。

[mike47]

動作テストとかしないの

[denimn]

障害テストやってないんか…？カオスエンジニアリング導入待ったなしだな。

[tastelessandodorless]

あわせて読みたい:https://www.jpx.co.jp/corporate/news/news-releases/0060/20201019-01.html その2:https://pr.fujitsu.com/jp/news/2020/10/19-2.html

[yoshis1210]

“機器を製造した米メーカーが「オフ」時にはバックアップを作動させない方式に変更。”NetAppかな。富士通が仕様の精査を怠ったのか、伝達ミスか何かなのかわからないけど担当者は大変そう。

[Ashburton]

5年間障害テストしてないってこと？？？？？

[ys0000]

あのリリースがこんな記事になっちゃうの？なんか初歩的なことをやらかした感じに落とし込まれた印象になる。実際の状況と受ける印象に乖離がある。バックアップもスタンバイとかにして欲しいな。

[houyhnhm]

マニュアルは富士通が作っていて、OSの更新に合わせマニュアルの修正および周知文書を作るのが必要だった。／まあこの手の差分はトラブルが発生してから気づくもんではある。正直これを減らすのは無理すわ

[saiyu99sp]

機器のバグ修正が要因じゃないの？ 新しい機器を入れる時に、古い機器と同等だから変更の必要がないと判断して起きたんじゃ？

[adsty]

バックアップへの切り替えが作動しない「オフ」の設定になっていた。

[nagaichi]

マニュアルって日常的にはまずチェックされないし、大概トラブったときのぶっつけ本番に引かれるような現場感覚はウチにもあるな。

[yosukegatz]

えっこれ障害テストの基礎中の基礎項目だよね・・？

[saitoudaitoku]

本番は無理としても、テスト環境でのテストは欲しかったパターン

[telltales]

いやテストしろよ。

[kkobayashi]

わりとシンプルな理由だった。やっぱり避難訓練というか障害が発生した時のテストはしておくべき、とはいえあらゆる事態を想定するのはムリだし難しいですね

[Cujo]

またせいりぶがしごとしてないけん/きじのないようりかいしてたいとるつけてるのこれ？

[doften_55]

膨大な数の設定値を全部把握するのは難しいよね

[orangehalf]

サーバが落ちた時の切替テストとかはしてもメモリが壊れた時のテストとか難しいし、製造メーカ以外で実施するところあるのかと。東証のリリースにあるNAS障害時の停止手順や障害後の再開手順の不整備は改善が必要

[feel-think]

情報が古い、誤字脱字があるなどしてマニュアルが実際のものとは異なることがある。自分もこういう経験を何度かしたことがある。本当に重要なことは他人の話を鵜呑みにせず自分で確認したほうが良い。

[mohno]

「機器を製造した米メーカーが「オフ」時にはバックアップを作動させない方式に変更。これを富士通が把握せず、「オフ」にして東証に納入。マニュアルにも反映させなかったため、東証は気付かないままシステムを運用

[amane60]

「障害時の即切替フラグをオフにしてるけど、15秒で切替が走る仕様」の初代を2回リプレースしてるうちに、同じフラグなのに「オフだと切替しない仕様」にしれっと変わってた。マニュアルも更新なし。これは無理ゲー…

[Windfola]

わかりやすくするためとはいえ「特定のメモリ障害のケースに限り」を省くのはどーなのか。

[yogasa]

なんかイマイチだなこの記事。プレス読んだ方がマシという……

[diveintounlimit]

インフラの鉄則としてすべて疑ってかかるとこができてないのはそうだが、これを責めるのはちょっと厳しそうという感想はある。

[the48]

東証レベルでも納品時に障害テストしてないのね。

[ohaan]

富士通の事だから、外部に向けてかっこいい事を言っても内部では精神論と運用でカバーになりそう。

[napsucks]

cf.takeover.on_panic の設定がoffでも15秒後に切り替わるという（おそらくontap7時代の隠し）仕様がありそれがontap8以降で文言通りの動作に修正されたが、それに気づかずパラメータを引き継いだ結果切り替わらなかったと。

[simabuta]

詳しい人ぜひわかりやすい説明を！

[elm200]

この手の連絡ミスはどんなに頑張っても100％防ぐことはできないと思う。東証も実地テストすべきだったのだろうけど、きっと大変手間がかかるものだったのだろう。私はこの件については誰もあまり責められないわ。

[hatest]

わざわざ「オフ」にして東証に納入する理由が知りたい

[monmon225197810]

テストどうこうあるけど、物理的にメモリ障害起こすテストってどうやって実施するんだろう。

[kujirax]

こういうことがあるから大金と時間をかけて馬鹿みたいなテストをする、ということと、だから金くださいということを説明するのによい事例。

[mayumayu_nimolove]

テストって大事

[deep_one]

『2015年9月のシステムの仕様変更前までは「オフ」でも15秒後に予備に切り替わる仕組みだったが、機器を製造した米メーカーが「オフ」時にはバックアップを作動させない方式に変更。これを富士通が把握せず』うわぁ

[mamezou_plus2]

バックアップ体制の意味なんだろうけど、データーバックアップ見えちゃうので