Amazon Aurora MySQLの不具合でローカルディスクが枯渇しクエリが実行出来なくなった話 - Kaizen Platform 開発者ブログ

SRE Group Managerをしている前田です。今回の記事は当社で遭遇したAmazon Aurora MySQLの不具合の話になります。 3行まとめ Amazon Aurora MySQLのローカルストレージが異常な速度で消費、枯渇しクエリを実行するとエラーが発生するようになった 原因調査とAWSサポートへの問い合わせの結果、Aurora MySQL 2.10.0 の不具合と判明し、2.10.2へバージョンアップで解消 Auroraのローカルストレージは自動拡張されないので、残容量の監視をしましょう 事象発生と解決までを時系列で記載。 2021年10月、Auroraに対してクエリが実行出来なくなる 社内メンバーよりBIツールからAurora MySQLに対してのクエリがエラーになるとのことで、クエリに limit 100 を付けると実行出来、 limit 1000だと Error w

[ma2saka]

うちもうちも

[tofu-kun]

こんなことあったのか

[sfujiwara]

これうちでも踏みました。つらい(2022/02ごろ)

[tgk]

“Error writing file ... (Errcode: 28 - No space left on device)”エラーの原因。Aurora側ですでに解消済み

[pinkumohikan]

障害対応のお手本みたいだ。障害発生からの暫定対応、監視による再発防止からの再発予兆検知からの実害起きる前での対処完了

[uunfo]

マネージドDBでストレージの残容量の心配しないとダメなの？

[amatou310]

へー

[i_luv_kneesox]

へぇー週明け監視入れてみようかな

[sora_h]

あった気がする

[hyaknihyak]

タイトルだけで胃が痛くなるな

[dorapon2000]

“Aurora ローカルストレージは自動拡張されないので残容量の監視をしよう”

[sasasin_net]

こわい

[ngsw]

わかりみ(Readerがなる)