DBが真っ白になっても55分で完全復旧ができるまでの道 | CyberAgent Developers Blog

初めまして。サイバーエージェント技術本部インフラエンジニアの@prog893です。今回は「AWA」という音楽ストリーミングサービスのMongoDBクラスタの復旧時間を短縮するために行ったインフラの改善について紹介したいと思います。復旧時間が12時間から55分まで短縮できたのですが、皆さんの参考になれば幸いです。（※注意：今回紹介する施策はAWAのインフラ構成や設定のものであり、他の環境で同じような効果が得られるとは限りません） AWAのデータストア構成 まず、現在のデータストア構成について軽く説明します。こちらの図でAPIサーバ，MongoDBに関連する構成の概要を示します： AWAのデータストア構成概要 メインのデータストアとしてはMongoDBを使っており、MongoDBのインスタンスはAWSで管理しています。APIサーバ、MongoDBのインスタンスがそれぞれのプライベートサブネット

[otoasobisan]

ドラゴンボール…

[pulldown]

DBが真っ白になったら、頭が真っ白になって何もできなさそう。

[tmatsuu]

良い気づき。今のデータ量での復旧時間を年1回の頻度でシミュレーションすると良さそう。Path MTU Discoveryを使えばMTUは適正になるかも。セキュリティグループでICMP type3 code4を通してみるとどうかな？

[lifefucker]

ドラゴンボールと思ったの俺だけじゃなかった

[TransRadio]

こういうトラブルシューティングというか、問題特定と対応でどれくらいの工数、期間がかかるのか検討もつかないので知りたい。

[karikari1255]

頭空っぽのほうが夢詰め込めるもんな

[tofu-kun]

サポート大事

[chi-bd]

“IGWを介してグローバルとの通信を行うとき、MTU 9001のフレーム（Jumbo Frame）がインターネットで転送可能な最大MTU（=1500、通常のフレーム）という単位に分割されます。このフレームの分割がボトルネックになっているので

[halfrack]

“AWSでは、一部のインスタンスタイプのMTUがデフォルトで9001（Jumbo Frame）となっています” エッまじで…

[bigchu]

NAT  InstanceをNAT Gatewayに置き換え、冗長化構成にしました。これで環境毎の推定最大ス帯域が300 Mbit/sから20 Gbit/sと、大きく改善されました。同時に、AZを跨いだ通信がなくなり、遅延が軽減し、耐障害性を高めることができ

[hetoheto]

ドラゴンボールが真っ白な精神と時の部屋になっても55分で完全復旧ができるまでの道

[tkmoteki]

良いね、IPレイヤーのいろんなボトルネックからMTU！だって、よく気づいたねぇ DBが真っ白になっても55分で完全復旧ができるまでの道

[yut148]

id、笑うしかない。

[naoto408]

興味深い。

[otihateten3510]

“すっごーい！”

[nakoton]

ブウ戦で自爆したベジータのことやろ

[koyancya]

(Mongo)DB が真っ白に...... MTU 調整するの大変だな

[norinorisan42]

スーパーサイヤ人ホワイトかと一瞬

[side_tana]

Jumbo Frameb 無効にしてトドメ刺すところ良かった

[xturbo]

メッチャ良い仕事してはる。他の人の良い仕事を見ると自分のヤル気スイッチが入る。今後もこういう記事は水曜日にアップしてください

[kisiritooru]

プログヤクザ･･･！

[kamatama_41]

MTUか、なるほど ✍

[Hamukoro]

DBがドラゴンボールとしか読めなくて頭か真っ白になってたけど数秒で復帰した

[tsutsumi154]

神龍にお願いすれば

[YukeSkywalker]

会社で読む

[yachimon]

クラウドでも引っかかるMTU

[khtno73]

CAの事業や営業姿勢はEVILだと思ってるけど、エンジニアは優秀だし、平時のリストアテストと改善にコストかけられる体制はお見事と言う他ない。

[peketamin]

平時の訓練だ！

[viperbjpn]

頭真っ白になりそう

[ohaan]

低レイヤー大事。