10月1日に株式売買システムで発生した障害について | 日本取引所グループ

平素は、東京証券取引所の市場運営に格別のご高配を賜り厚く御礼を申し上げます。 2020年10月1日に株式売買システム「arrowhead」で発生した障害により、投資家の方々をはじめ、多くの市場関係者の皆様に御迷惑をお掛けしましたことを深くお詫び申し上げます。 今回発生した事象に関し、経緯、原因及び再発防止措置等について公表を行いました。 また、今般、当社では、再発防止に向けたシステム障害対応やルール整備の在り方についての検討を行うため、「再発防止策検討協議会」を設置することとしました。 詳細につきましては、添付資料をご参照ください。

[yoshis1210]

俺も富士通製品のマニュアルの間違いはいくつか見つけたことがあるけど、メーカーじゃないとテスト出来ない部分で間違ってるときついな。

[Wafer]

投資家・ベンダーとの障害発生時の取り決めがなかったから再起動できなかったのは反省点やもんな。「止まらない」東証じゃなくて「壊れた時は迅速に対応する」東証にかじを切るのは正しい

[sekaiiti]

これを見る限り、NetAppのONTAPの製品マニュアルにおいてOSverup(7-modeからcDOTかな？)での仕様変更が明記されておらず、富士通が見落としたということかな。これは少し富士通が可哀想だが、実機の設定は確認してなかったの？

[kz78]

再発防止策で「市場停止及び再開に係るルールの整備等」も入っているのは良い。

[togusa5]

cf.takeover.on_panicがoff？？？？？？？？？？？？？？？？？？？？うせやろ？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？

[Bel]

arrowhead10/1障害のポストモーテム資料

[strow0343]

5年以上放置されてたものが今頃露呈したのか。動かしてみたら期待通りに動かない経験は自分もあるし、人間が作るものである以上マニュアルも100%信用出来ないので一度は動かしてみる方が無難

[nacamula]

「今後は、迅速かつ適切な回復策を拡充すべく、「レジリ エンス(障害回復力)」も同様に重視」コレ大事。しかも、よく落ちるシステムのほうが備わっているというパラドックス。

[tastelessandodorless]

1日に事案が起きて2週間ちょっとで報告と対策をまとめるスピードと信頼感を上場銘柄の監視にも適用してほしい

[kuenishi]

読んでて胃が痛くなるような内容

[imiimiimi]

テスト大事、それに尽きる

[dogusare]

・ 確実に切り替える手段の確認・整備（11 月末まで） ・ 切替えテスト・訓練（NAS については 21 年 1 月まで：その後も継続） 大変だなぁ…。

[kuracom]

そもそもONにしなかった理由はなんだろう。契約の都合なのかな。

[shikiarai]

これ予定してた仕事全部すっ飛ばしてやってるんだろうな……とか考えるとまた吐きそうになる

[n593977]

これ同じ製品使ってるとこあわてて点検してるんじゃねーの

[n_mattun]

設定が踏襲されていれば良し･･ではなく、定期メンテの際にそれでも「実際に試す」ことをしてれば防げていたトラブルの類か。でも実働メンテできる時間や予算が担保されてたかはワカラんので責められないなぁ。

[kazuhooku]

性能低下時の閾値動作とか結合テストで事前検証困難だし、そこの仕様に誤記があったらどうしようもないよね感。つぶしづらい問題解決よりも、早期復帰にむけた会社間手順の調整に重きを置くのも正しいと思う

[rjge]

もともとはoffでも15秒後に切り替わる仕様だったのがバージョンアップでoffは切り替わらない仕様になったのか…。読んでるだけで胃が痛くなりそう。

[rryu]

NAS設定値というのがcf.takeover.on_panicらしく１５秒はcf.takeover.detection.secondsぽい。旧OSではカーネルパニック時に外から切り替えてくれたということなのだろうか。

[yogasa]

富士通のリリースより分かり易いな。パニック時に切り替わらない内容になってたのなら、全面的に富士通が悪いな。 / メーカーじゃないとテストできない内容ではないよ……

[burnworks]

マニュアル通りに設定して安心してたらそのマニュアル自体に不備があったとかつらみ

[hamaco]

ちゃんと書かれててわかりやすい

[orangehalf]

初代の設定値はONで即時、OFFで15秒後に切替だったものが2代目からOFFは切替なしに仕様変更されたがマニュアルへ反映がされず仕様変更に気づけずに初代の設定を引き継いだために発生か。よりにもよってという障害だな

[BoiledEgg]

仕様変更の記述のチェック漏れでしゃあないかなあという気持ちとcf.takeover.on_panicというあからさまなパラメータ名をまあええかで通したのかというパソコンの大先生的な気持ちが俺の中でせめぎ合っている

[bell_chime_ring238]

うう…机上検証で通したところがバグを引いたってキツいな…

[wataken44]

これは・・・

[napsucks]

富士通サイトでは「わざわざ自動切替をoffにしたので切替わらなかった」という説明で意味不明だったが、ontap7ではそれで切り替わってたのね。netappもまさかTakeover on Panicをoffのまま使ってるとは思ってなかっただろうな

[su_zu_ki_1010]

東証側の発表内容。富士通の発表と合わせて読むと、これに関しては富士通の製品が正しく稼働する前提だったので東証は10/1の時点では仕方ない。何事も正しく稼働する前提で考えると危ないってことですなぁ。

[iasna]

トラブルの最中、分単位で状況をどこまで公表し取引停止をどこで決断するかマジぎりぎりだったことがよくわかる。一日で終わらせたのがすごい。もしも半日で稼働してたら……

[ya--mada]

こっちがJPXからのリリース

[Vorspiel]

cDOTから使い始めた人(俺だ)からすると「何故わざわざオフにした」ではあるが、7-modeとはオフ時の挙動もデフォルト値も違うといわれればまあ…

[hatomugicha]

金をかければ完成するものでもないから難しい

[causeless]

"@okapies この図を見て、やっと意味が分かった。怖すぎる。 https://t.co/V1fCqgww…" via https://twitter.com/okapies/status/1318360927167672327

[mmddkk]

約定データの処理が中途半端（？）に仕掛かり中になったのは大きな問題だと思う。朝イチの障害だったから注文を全部ノーカンにできたけど、もし日中の障害だったらさらに面倒くさいことになったような。

[vamostokyo]

あとでじっくり