9月2日木曜日に発生したAWS東京リージョンの大規模障害、原因はネットワークデバイスの新プロトコル処理に潜在的なバグがあったこと。AWSが報告書を公開

9月2日木曜日に発生したAWS東京リージョンの大規模障害、原因はネットワークデバイスの新プロトコル処理に潜在的なバグがあったこと。AWSが報告書を公開 2021年9月2日木曜日午前7時半ごろに、Amazon Web Services（AWS）の東京リージョンで大規模な障害が発生しました。 NHKニュースの報道によると、三菱UFJ銀行やみずほ銀行のスマートフォン用アプリやSBI証券などネット証券のWebサイト、KDDIのau Payなど金融系サービスが影響を受けたほか、全日空では羽田空港などでチェックインを行うシステムに障害が発生、日本航空では貨物の情報に関わる一部のシステムに影響が出るなど、幅広い社会サービスが影響を受け、大きな問題となりました。 障害が発生したのは、企業のデータセンターなどからAWSへ専用線で接続するためのネットワーク接続サービス「AWS Direct Connect」。

[kanai6274]

"ファイバ切断に対するネットワークの反応時間を最適化するために導入された新しいプロトコル" って書かれてるから、QUICとかのペイロードじゃなくて、ルーティングプロトコルのことでしょ

[Wafer]

新プロトコル処理はおそらく全世界で共通して展開されているだろうけど、日本でだけ顧客のデータがバグ発生条件に合致したとなれば、日本語の文字コードが引っ掛かった可能性

[otchy210]

イメージだけど、日本企業は AWS 内で完結させるより自社 DC と繋ぎたがる客が多い、標準的なフレームワークを使うより独自のフレームワークを構築しがち、みたいな状況が、レアなバグを踏みやすい下地にある気がする。

[togusa5]

EquinixデータセンターのNW機器でバグ引いて、設定戻しただけでしょ https://businessnetwork.jp/Detail/tabid/65/artid/3836/page/2/Default.aspx (アット東京かもしれんけど

[spark7]

AWS障害無罪みたいな風潮あるな。

[levele]

東証は色々言われてAWSは詳細って褒められるの不思議

[napsucks]

なんだろう。NATのアプリケーションゲートウェイ周りはいい加減枯れてるだろうし、最近のプロトコルといえばQUICだろうけど何かあったのかな。

[Gim]

みずほ銀行で起こったら叩く癖に、AWSだと穏やか、あら不思議。

[buhoho]

もし自分が自前サービスで問題起こしてたら、この速度での修復と原因究明は無理って感じ

[jtw]

DCとクラウドをやっているとこの手の「世界初なんです」はほぼ毎年聞く話。

[tmatsuu]

「非常に特殊なパケット属性」と書かれると何のこっちゃさっぱりわからんな。対策はfuzzingでしょうか

[itboy]

8か月間見えなかったバグが突然噴出したとかかなり怖いな

[NOV1975]

東京リージョンだったのはたまたまってことかな。

[diveintounlimit]

“問題を引き起こす非常に特殊なパケット属性とコンテンツのセット”そう言えば極めて稀なオプション設定の組み合わせでダウンしたサービスがあったな/ここでQUICは出てこないと思う

[mysql8]

GCPしか勝たん みずほvsアマゾン

[tetsutalow]

もう少し情報が欲しい気はするがそれにしてもあの規模のシステムの不具合から短期間に原因仕分けてとりあえず対応しちゃうのは凄い。日本のユーザにDirect Connectが多いからレアな障害になったのかなぁ。

[Cald]

UDLD的なプロトコルかな。ルーティングプロトコルではないのでは。

[saikyo_tongaricorn]

東証は良かったって言われてただろ

[Kmusiclife]

ワテはGCPやで

[hiroomi]

”障害が発生したのは、企業のデータセンターなどからAWSへ専用線で接続するためのネットワーク接続サービス「AWS Direct Connect」。”

[getcha]

実質的にアップデートが原因でまれな障害が起きたので戻しました。以上の事がわからない。いいのかなこのレベルで。

[Shalie]

"報告によると、障害の原因はDirect Connectのロケーション、つまりDirect Connectが接続される場所から東京リージョンのデータセンターへの途中にあるネットワークデバイスで障害が起きたことだと説明されています"

[ys0000]

NetworkOSのバグを特定できるAmazonの技術力が素敵。エンジニアとしてこういうのが出来るようになりたいと思う。

[daishi_n]

AWSとかの大手パブリッククラウドだとNW機器も他社製品を買うんじゃなくてODMで自社設計・製造委託してたりするよね。NWも仮想化してるからNWデバイスの物理・論理NWの変換処理で不具合があったのかな。

[mohno]

「社会的基盤…クラウドが、障害について詳細な報告をわずか数日で迅速に一般公開したことは、クラウドベンダの持つ技術力と情報公開の在り方が、従来の「ベンダと顧客の関係による対応と報告」とは異なるもの」

[hateshinaiz]

言及されている通信パターンのように予期できないものは必ずあり、障害は起きるものと考えておく必要あり。課題はどうやって我々が緩和できるのか。このポイントに議論を移さないと同じ騒ぎが必ず起こる。

[Nihonjin]

地震、カミナリ、火事、津波、AWS障害

[mr_mayama]

どんなネットワークパケットなのか明らかにしてしまうと現時点で未対応のリージョンで問題が起きるからそれは公開できないのか。

[Keisuke69]

この新しいプロトコルってなんだろう？あとグローバルでロールアウトされてるだろうに日本で出たってことは特有の何かがあったのかな

[nmcli]

上位層のレイヤじゃない所でバグってなるとL3～4あたりなのか

[dogusare]

「新しいプロトコル」ってのが何か。

[manFromTomorrow]

TY8かな？

[tianbale-battle]

自分で障害起こしたとはいえ、この切り分け力はスゲー。エンジニアはみんなAWSで働いてみたいと思うだろうな。

[telegnosis]

ふむふむ、あーアベイラビリティゾーンでのプロトコルかなるほどね（わかってない）

[natu3kan]

昔のコンシューマやソシャゲならユーザーネームとかユーザーが文字を打てる場所に命令文や制御文字を直打ちしてバッファオーバーランさせると、ゲームに反映みたいなバグあったよなあ。初代や金銀ポケモンみたく。