東証、障害の原因を特定 「自動切り替えできない設定値になっていた」

東京証券取引所は10月5日、株式売買システム「arrowhead」（アローヘッド）で1日に発生した障害の原因を特定し、4日中に修正したと発表した。 障害は、ストレージ内でメモリ故障が起き、サブ機にも切り替わらなかったことが原因。メモリ故障による障害が起きた際、自動切り替えできない設定値になっていたという。 arrowheadのユーザー情報などを格納するストレージ「共有ディスク装置」の1号機に搭載されたメモリが故障したことに起因。1号機が障害を検知すると、切り替え用設定値に従って自動で2号機に切り替わるはずが、切り替わらなかった。 調査したところ、メモリ故障が原因の障害パターンが発生した際、自動切り替えできない設定値になっていたという。設定値を変更すれば、自動切り替えできることが判明。4日にシステムに適用し、自動切り替えが動作することを確認したという。 稼働前のテストでは、1号機と2号機相互

[n_y_a_n_t_a]

ううう胃が痛い……弊社ベンダーも同じこと言いそう。あと、開発機で再現しないので調べたら本番の設定値が違ってましたてへぺろとか。

[alpon]

こういう質問したい。・メモリ障害固有の設定があるのか。・その設定がデフォルト無効ということか。・今回の対応でメモリ障害のフェイルオーバー試験はどうやって実施したのか。・あるあるｗどんまいｗｗ

[k0kubun]

自動切り替えそのもののテストは「1号機と2号機の死活監視を途絶えさせ」て普段からテストしていたけど、メモリ故障で自動切り替えを行なうテストは(多分大変なので)やってなくて実際そのテストが必要だったという話?

[yujimi-daifuku-2222]

メモリその他を実機から引き抜いて障害テストをしている環境は少ないでしょうね。/でもさ、これ下手すると保守対象外になるやつじゃん。わざとタイヤ外した状態で、自動車の走行試験するようなもの。

[advancedbear]

障害テスト時点での確認範囲の問題よなぁ。実際自分がメモリ故障時のテストもやれって言われたら、普通のテストの倍くらいリスクと工数積んでやるだろうし、そもそもどうやるんだって話もあるし・・・。

[yu_fuk]

1号機の障害がメモリ故障でなければ正常に切替が起動していたが、メモリ故障は設定ミスで切替の対象外だった、という理解で合っているだろうか。広く起こり得るインシデントだけに他山の石にしたい。

[lorenz_sys]

テストについてのコメントが散見されるがそういう問題じゃないようにも記事からは読めるけどな。運用手順書の記述が不足しているかそもそも手順が順守されていなかったという話なんじゃないの？実際は分からんが。

[napsucks]

アプライアンスのプロセス障害はメーカを信頼してる部分もあるから難しいねほんと。以前にalaxalaのVRRPが切り替わらなかった件も似たような原因じゃね？何かあったら全クラッシュするモノリシックOSのほうがマシという

[paradisemaker]

こんなん泣いちゃう

[monorod]

稼働前テストで問題なかったって事は、本番環境に入れるときに変えちゃいけない設定変えちゃったって事かな。

[akulog]

不具合ではなかったんだね。#事故はおこるさ

[yatta47]

システムの不具合というよりか設定ミスっていうこと？

[nyarou]

テスト環境と本番で設定値がずれてたのであれば、テストの問題ではなく設定確認手順の問題。

[anfangd]

どの部分の設定か分からないけど、割と凡ミスっぽさも感じるな。

[mamezou_plus2]

メモリーのどういう故障か？ボケ老人のように不適な値を返してると駄目とか、代用部分の死ぬ量とか

[m_yanagisawa]

メモリー障害を見越してコーディングなんて、通常できるのかな…

[baca-aho-doji]

うーん、お粗末すぎる…よくある話だけど、設定ミスは一番もったいないなぁ…

[Kmusiclife]

担当者ー自殺とかすんなよ。まじで。

[tohima]

よくわからん

[renos]

設定変更結果を出力した画像をエクセルに貼りつけて目視確認とかしてたりして見逃しちゃったのかな

[nagonago_30]

私が退職前に作ったシステムもメモリ故障だと切り替わるか怪しい……(考えないようにしてるけど)

[inomaso]

設定ミスってこと？

[Syncrea]

んー、情報が少なすぎる。

[gamecome]

この件、翌日にはもう無事に動いてた事を評価してやれよって思うんだが……

[luspha]

んでこの設定値決めたの誰なんです? 東証? 富士通? "障害は, ストレージ内でメモリ故障が起き, サブ機にも切り替わらなかったことが原因。メモリ故障による障害が起きた際, 自動切り替えできない設定値になっていた"

[naga_yamas]

こんなんテストしようがないじゃん。放射線でも照射する？

[dgwingtong]

こんなのどうやって普段の運用で調べられる？

[sirobu]

メモリが死んだ時に死活監視にエラーを伝えてフェイルオーバーするところ、レスポンスを返し続けるコンフィグになってたから切り替わらなかった、ってことかな。これ原因分析と再発防止難しそう

[shinobue679fbea]

デフォルトが切り替えになってて、設定値のミスにテストで気づかなかった、とかかな？

[deep_one]

「メモリ故障が原因の障害パターンが発生した際、自動切り替えできない設定値になっていたという」むやみに詳細な設定が可能なのかな。エラーコードを受け取って処理みたいな超アナログだったりすることもあるか。

[NAT]

メモリ故障の障害時に、自動切り替えできない設定値になっていたことが原因だとか。メモリ故障のケースの設計漏れかテスト漏れか…。設定項目が何千何百とあるか知らないけど、分かってしまえば些細なミスに見える。