ANAシステム障害の発端はDB両系ダウン、原因特定へ「書き込み処理を絞り込み中」

全日本空輸（ANA）は2023年4月4日、4月3日午後に発生した旅客系基幹システム「able-D」の障害について記者会見を開いた。この中で同社は、障害の発端はable-Dに連なるデータベースが2系統同時にダウンしたことだと明らかにした。同社ではソフトウエアに何らかの原因があるとみて、引き続き原因の特定を進めている。 続報（2023年4月7日） ANAシステム障害の原因判明、DB並列参照時にパッチ未適用の既知バグでフリーズ ANAではable-Dについて、障害対策の観点で同一構成の「A系」「B系」の2系統を用意しており、本番系と待機系を定期的に入れ替えている。またA系、B系のそれぞれについて、「DB1」「DB2」という2系統のデータベースを接続しており、DB1とDB2は常にデータが同期されている。 今回のシステム障害が発生した4月3日の午後2時16分ごろ、本番運用中だったA系の基幹システムに

[forest1040]

本番系と待機系の定期的入れ替えスゴイ。

[knitcapmann]

同一型番・同一ロットの機械は大体同じタイミングで壊れるので冗長化させるには向かない。

[kumoha683]

ANAは6年前にもデータベースが全ての系統ダウンするというシステム障害を発生させている https://xtech.nikkei.com/it/atcl/news/16/033000936/

[NOV1975]

DB1、DB2って書くとDB2みたいだから一般紙ならともかくIT系では御法度では

[kurotsuraherasagi]

障害対応としてはB系に切り替える判断が遅かったくらいでわりとちゃんとしてた印象。FO自動化もできるだろうけど、それはそれでの部分あるからなあ。

[emt0]

古いタイプのオンプレの構成だな。NECとかが好きそう。悪くないけどホットスタンバイが出来ないなら見直すべきだね。待機系で夜間処理とかかけてたりするのかな。

[mk_55]

しっかりした障害の途中報告、という感じ。

[ryun_ryun]

A面B面を定期的に入れ替えてるのは、その作業自体が障害発生時の予行演習になるからってのもありほう。いざ切り替えて動かなかった、なんてことはよくあるし

[gohantaberu]

そもそも日本のIT業界は、実際にコード書いてるエンジニアより、打ち合わせばかりとか、人を左から右に移動させてるおじさんの給料の方が高いのが意味不明。そりゃ現場は素人ばかりになるし、トラブルも発生するよ

[kanetann]

ホットスタンバイよりAmazon Auroraに移行して自動フェイルオーバーさせたい

[asakura-t]

（記事とは直接関係ない）ANAではないとこが待機系に切り替えしようとして失敗/あるいは切り替えたうえで酷い事になった事例があった記憶があるけど、あれはなんだっけ？

[sc3wp06ga]

『15分程度で実行できる』待機系への切り替えを即座に行う手順でなかったのは、本番系の復帰を試みるのが優先の手順になってたのかな？もう少し軽微なDBダウンの場合、待機系へ切り替えちゃうと影響がデカいとか？

[noritada]

本番系と待機系を定期的に入れ替えているあたりは、さすが社会インフラを担う会社としてしっかりしているという印象。

[zauls]

2016年もCiscoのスイッチ周りで確か障害出してなかったっけ？保守が元日本ユニシスで。そんな経緯もあるし障害に対する訓練はやってたんだろな。切り替え判断までの時間以外はしっかりしてるように見える。

[morimarii]

一時間ならいいんじゃないのと思うが一方で自動切り替えも考えたいっすね

[at_yasu]

お疲れさまです

[s_rsak]

DB二重化が役に立たなかったのは草

[interferobserver]

待機系あってちゃんと機能してよかったね。1時間かかったのは人間系の要因だろうから、フロー見直して避難訓練したら良さそうね。

[katzchang]

“「（今回と同様にデータベースの障害で）本番系が停止した際は、速やかに待機系へ切り替えるよう復旧手順を見直した。切り替え自体は15分程度で実行できる」”

[YokoChan]

「4月1日にSKiPサービスの終了に伴う改修を実施したが、これも無関係と判明している」絶対それじゃん。直前に触った箇所だよ。

[aosiro]

原因気になる

[nadybungo]

B系統への切り替えのスピード感、復旧システムに優先順位つけて対応できている点、定期的に正副系統を入れ替えてる運用、すごい。

[buhoho]

"本番系と待機系を定期的に入れ替えている" へー。面白い構成。私が無知なだけでこういうのあるのかな？

[gairasu]

まず取り組むのは、再起動を試みる前に切り替えるべきだったみたいなところからか。そりゃそうだ

[TakamoriTarou]

しゅごい

[diveintounlimit]

めっちゃちゃんとしてる感じがする

[mouki0911]

なんで入れ替えてるんだろ。ハードの保守期限で均一に、長くしたいから？切り替えリスクの方が大きい気がするけど。

[beerbeerkun]

この図だとA系とB系の同期をどう取ってるのか見えないけどバッチ的にやってるのかな

[dazz_2001]

アナではないエーエヌエーと呼べ！とか言っているのかなぁ…

[call_me_nots]

“able-Dについて、障害対策の観点で同一構成の「A系」「B系」の2系統を用意しており、本番系と待機系を定期的に入れ替えている。またA系、B系のそれぞれについて、「DB1」「DB2」という2系統のデータベースを接続”

[six13]

アプリがユニシス、DBはオラクル、ハードは今回は関係なさそうだけどHP、らしいのでメモ。やらかしはユニシスかな。（まだ新しい社名覚えてない）

[csal8040]

“全日本空輸（ANA）は2023年4月4日、4月3日午後に発生した旅客系基幹システム「able-D」の障害について記者会見を開いた。この中で同社は、障害の発端はable-Dに連なるデータベースが2系統同時にダウンしたことだと明らかに

[Helfard]

“ハードウエアの障害やサイバー攻撃ではないと確認が取れており” 掃除のおばちゃん無罪！！

[tourmalinecatseye]

反転フラップ式案内表示機（カタカタ回るやつ）はこういうとき残っていれば便利なんだろうなぁと思った。情報更新されないだけで古いのは残るだろうしね