2020年10月に発生した東京証券取引所のシステム障害についてまとめてみた - piyolog

2020年10月1日、東京証券取引所はアローヘッドの機器故障によりシステム障害が発生し、終日売買を停止すると発表しました。故障した機器は交換が行われ、取引は翌日再開されています。ここでは関連する情報をまとめます。 機器故障起きるも縮退運用に失敗 障害概要図 アローヘッド内の共有ディスク装置1号機で機器故障が発生した。実際故障したのはサーバー上のメモリ周辺機器とされる。 1号機故障により両現用で稼働していた2号機のみのフェールオーバー（縮退運用）が行われるはずだったが何らかの問題により行われなかった。 共有ディスク装置を使用する相場配信、売買監視のシステムで障害が発生。 障害復旧時に発生する注文データ消失による市場混乱を避けるため当日終日の取引停止の措置を実施。（遮断） フェールオーバー失敗原因は設定ミス フェールオーバーに失敗した理由が特定できたとして10月5日に発表。 障害発生時のフェー

[Wafer]

フェイルオーバーがうまくいく前提というのは考えさせられる言葉ではあるが、フェイルオーバー失敗時は腹くくって全部止めるが適切で、それを実行したと言える。そしてそれはたやすいことではない

[tettekete37564]

いやでもお手本の様に綺麗な障害〜特定〜復旧プロセスだと思うわ。キチンと熟知してないシステムだと絶対ゲロ吐くと思う

[vanish_l2]

俺の中で東証の株があがりまくってる

[toubanjanny]

やっぱ初動が完璧だわ。7時に障害引いて8時半に外に連絡って、7時半ぐらいには障害報告がCTOに入ってないと出来ないのでは。その日の夕方に完璧な会見ができているのも更にすごい。お手本のような障害対応だと思う。

[kurotsuraherasagi]

「東証内システムで稼働する機器故障そのものは珍しくなく、発生もしている。」この状態で昨日が来るまで何年間も障害発生がないのって備えられててすごいと思うけど、評価はされにくいんだろうなあ

[tukanana]

会見資料webに出てますよ。 要旨→ https://www.jpx.co.jp/corporate/news/press-conference/nlsgeu000004zjwb-att/20201001JP.pdf 資料→ https://www.jpx.co.jp/corporate/news/press-conference/nlsgeu000004zjwb-att/20201001_J.pdf

[rryu]

東証の資料には「両現用で処理」とあるのでフェイルオーバーというよりは切り離しなのだと思う。手動でやると構成変更になるのでシステム再起動が必要になったのではないかと思われる。

[tekimen]

共有ディスク装置は両現用で縮退運用を行おうとしたと解釈している

[dorje2009]

ユーザ企業としてはハードのパーツ個々での疑似故障を網羅するのは質的・量的にまず無理(1ノードや1ディスクで試験がせいぜい)なのでなかなか難しい。フェールオーバーを担うソフトの品質に依存せざるを得ない。

[kastro-iyan]

7pay／ゆうちょが酷すぎたので一層よく見えるな

[l-_-ll]

会見資料PDFリンクあり

[tkchan20]

神対応。ほんとシステム障害が起こったときのお手本

[mmayuminn]

これはもしかしたら意図的なものだったのではないかという、都市伝説的な見解があるのですが・・どうでしょう( *´艸｀)

[bounoplagia]

情報がまとまっていてありがたい。

[wyukawa]

あー、そうか売買開始前に障害が起きたのか

[shikiarai]

フェイルオーバーが都合よく成功するケースはよほど綺麗に落ちた時くらいだから……

[yonejill]

停止までの決断がすこぶる速い。すごい。

[yu_fuk]

東証システム障害についてキレイにまとめられている。本件の鍵となるのはフェイルオーバーの原因だと思うし、続報を待ちたい。

[tsutaken]

縮退運用のことをフェールオーバーって言うことに違和感があるのは私だけ？

[morimarii]

何度見ても混乱なくシステム停止できてるの素晴らしい。サービス設計の勝利だと言える。

[sasagin]

あれだけの大規模システムなのに1日で特に取引情報に齟齬を発生させず復旧させるというのは素直に評価されるべき。

[otchy210]

フェイルオーバー失敗するのよく聞くけど、東証レベルだったら導入時だけじゃなくその後も定期的にテストする運用になってると思ってたからその点は期待はずれ。今後改善されるかな？

[tsysoba]

分かりやすい。人間の作るものに完璧はないからなあ。対応としては適切という印象。

[taguch1]

大変だね。

[diet55]

1. フェールオーバー失敗原因は不明 2. 機器故障がシステム障害に波及「機器故障そのものは珍しくなく（略）今回の様なシステム障害は発生していなかった。」 （続く）

[tym1101]

詳しいことは分からんけどトラブルからの対処が早いかどうかで組織力の高さを知ることができる

[tonzurah2]

機械より運用してる人間がすごかった説。対応が的確過ぎる。

[orangehalf]

初動対応時の判断の早さすごいな。今後は手動での切り替え対応もするとのことだが、今回の全停止の背景にある再起動すると一部データが消えてしまう問題がそれで解決できるのかがよくわからんな

[shinp]

二号機があるのに故障した一号機に半端にデータがあるので二号機は使えない……は単に業務の不具合だから機械の問題じゃなくね。取引前のデータを吹っ飛ばせないなら今後も再発するじゃん。アカンやろ……

[septoot]

今回の件は障害対策の成功事例として認識されるべき。

[kei_1010]

もうシステムは止まるって前提で、全体の設計というか状況を証券会社も巻き込んで作り直した方が良いよね。どんなひどい障害でも朝に起きた事象で後場まで終日売買停止は残念過ぎる。しかもこんなショボい障害で。

[Cru]

なんだ。市場が開く前に把握して停止してるじゃん。消失の恐れがあったのは市場外取引分って事？一般投資家は利用できない市場外取引も東証のシステムでおこなってるん？or当日朝の売買注文は市場開始前から受付??

[moto_motosaka]

そもそもあんな膨大なデータをほぼほぼリアルタイムでやり取りできてるのがすごいと思ってはいた ガチのエンジニアがガチに対応してても100%動き続けるシステムなんてありえない。故に事後対応が大事だよってことかな

[htnmiki]

まあザラ場で突然吹っ飛ぶよりは全然よかったのかな

[sharp_m]

ストレージのコントローラーがファームウェアのバグで機能しなかったりもするからね…

[baca-aho-doji]

東証すごい。ホントまれに見る対応力だと思う。副系切り替えしなかった原因の救命は多分難しい。同じことが起きないアーキテクチャとか考えられないかなぁ…

[yujimi-daifuku-2222]

強制再起動時に対象機器が落ち切らなくて、システムから切り離せない。インフラ障害あるあるのパターンに見える。/切り離し失敗時の対応が整理されていなかったのだとしたら、そこは反省点ですね。

[sjn]

会見でちゃんと説明していただけることで社外の人の理解も進むし、他の会社も同じ轍を踏まないか考えることで日本の企業全体で改善進むのありがたいなぁ…。

[yabu_kyu]

ストレージの両現用はDXのStorage Clusterでも使ってたんかな。　https://bit.ly/3ipj1bo

[sabacurry]

共有ディスクで両現用ってなんぞ？スプリットブレインで縮退できなかったってこと？