あと2時間でElastiCacheのメモリが枯渇！そのときあなたは何をしますか？

突然ですが... あなたは、あるゲームプロジェクトの本番リリース2日前にサーバエンジニアとしてJOINしました。いざリリースを迎えたとき、ElastiCacheのメモリが突然危険域を超え、さらにあと2時間で枯渇しそうな状況になりました。 さて、この状況におかれたあなたは何をしますか？ はじめに モバイルゲームのシステムは新しいイベントをopenするとトラフィックが2倍、3倍、時には普段の10倍以上来ることがあり、トラフィックの変動が非常に大きい特性があります。 新しいゲームのリリース時はより顕著で、想定以上のトラフィックが来ることもしばしばあります。 この記事は、あるゲームプロジェクトの本番リリース時に大規模トラフィックが来た際のサーバトラブルを題材に、 どのような観点で問題を切り分けていったのか、トラブルシュートのプロセス どのような準備(負荷テスト)をしていれば防げるのか という話をし

[nekoruri]

頭の片隅に覚えておくと焦らずにすむ知見のかたまり // CloudWatch意外と高いよね……

[endok]

ゲームのバックエンド、業務システムとはまた違った大変さがあるな。しかしこれだけクラウド活用したシステム構築できるのは面白そう。

[everybodyelse]

すごい。自分こんなに色々トラブルに対処できる気がせんわ…。歴戦の戦士感すごい。

[Soudai]

めっちゃいい記事だった。生きたデバックの各種とトラブルシューティングの判断基準があってとても参考になった。

[ksakae1216]

実体験を丁寧な解説と、適切な対応で、非常に素晴らしい記事でした。 普段、開発しかしてない人にも刺さる気がします。 うちもCloudwatchのとこは見直せそう。

[n593977]

ここまでサクっと対応できようになるまで知見を貯めてるんだろうけど凄い

[mapk0y]

色々学びがある。p99を見ることの大切さ、performance Insights 便利、Datadog便利、RedisのスケールアップはNW的には意味ある、コミュニケーションなど/zenn は alert のメッセージなども見やすく埋め込めてとても良いですね。

[kkamegawa]

自分もこう言うところに入っていくことがあるので、余談のところはいつも気をつけたい。

[yamadar]

だいぶ実践的。

[castaneai]

“DBに保存されているゲームマスタデータのwhere句の組み合わせにより、キーの名前を動的に生成してキャッシュするような使い方をしており、大量のキーがsetされていました。”

[ryuichi1208]

すごい知見の塊の記事だった。何を考えどう行動するのかって実際文字に起こすの大変なので整理できてとてもよかった。

[doriven]

本番運用上での対応について詳しく書いてくれるのは貴重で為になるのでありがたい

[murs313]

すごい

[sonots]

わいわい

[tmatsuu]

トラブルシューティングわいわい

[iekusup]

ほー。

[efcl]

メトリクスのモニタリングと対応事例。 CPUがサチってるケース、DBのコネクション数の問題、CloudWatch、Aurora Performance Insights など

[toritori0318]

良い知見。CloudWatchはそれな感…

[onk]

エピソードそれぞれあるある感あったし余談も良かった

[ochimusha13]

読んだけど、要するに設計が悪すぎるのでは？きっかりメンテ入れて作り直すのが吉かなと。そもそもこんな設計をした事自体が…という印象。

[oktnzm]

本来開発時のコードレビューやテスト時に対処しておくべきものを最後に超人を連れてきて収めてるって感じだなぁ。がっつりもらうもんもらわんと割りに合わないだろう。

[ot2sy39]

イベント開始30分前のデプロイでなんとか助かったって熱い。振り返りで落ち着いて見えるだけで心臓バクバクだったのか、文章のように落ち着いていたのか。この人、いくらもらってるんだろうと思ってしまう。

[lenore]

後で読んでも遅いのだ…

[razokulover]

最後の余談で好感度上がった

[kfujieda]

勉強になった。この状況でコミュニケーションの工夫をする余裕あるとか歴戦の勇者すぎる。

[wata88]

日常だ

[ms2sato]

読んでてドキドキしたのは久しぶり。知見凄い。

[THAL]

参考になる

[at_yasu]

後でしっかり読む

[yutaka_maruoka]

腰据えて見直してシミュレーションしていきたい(お金ないから頭の中で)

[kahlua-dane]

読んでて変な声出そうになるよね

[n_231]

人気ソシャゲのインフラ管理とか気が遠くなるよな。どんだけ秒間アクセス捌くんだよ、みたいな。まぁ人気ならこんなにアドホックな調査対応は多少は減るだろうが……そんなことないですか……

[dnsystem]

再起動

[cateching]

“あと2時間でElastiCacheのメモリが枯渇！そのときあなたは何をしますか？”→暫定対処ならキャッシュなんて消せば良くない？と思ったら大体あってた。

[teckl]

とてもいい話だった… CloudWatch Logsだけで70万円…

[mattn]

余談の部分良かった。

[slkby]

事故は起こるべくして起こるので何もしない。それを期待して投入される大ベテランならともかく、末端のスーパープレイは組織を腐らせる。

[p1ass]

良い記事

[bonita_bonita]

すみやかにリリースを見合わせてください(ユーザー目線)