本当にあったAWSでやらかした話と対策😭 - Qiita

概要 みなさんこんにちは🎄 「フォトリ」という家族写真の撮影サービスを運用している会社でCTOをしてるカイトズズキと申します。 この記事では、先日会社のAWSで割と高額の請求が来てしまい😭死にたくなる思いをしたので、そのお話についてしていきます。 AWSは便利だけど、お金使いすぎたりしないか不安になりますよね。 特に僕はそんなにAWSには詳しくない人間なので、なおさらドキドキです。 この記事を通して、僕がやっちまった失敗をみなさんに知ってもらい、 同じような失敗をする人が1人でも減ることを祈ってます🙏 やらかしレベル まず、結果としてどれくらいやらかしたかと言うと、 普段の使用料金以外に、 - Lambda で 10万円 くらい - S3 で 30万円 くらい の請求が来てしまいました、、、 普段は数万円程度で2つのWebサービスを運用しているため、 最初に気づいたときは驚きすぎて理

[sirobu]

今日のはミスの内容としては凡ミスの類いかもしれないけど、説明がわかりやすくて良き / 星いっぱい付いててアレなんですが、やらかしadvent calendarと勘違いしてました。すまぬ……

[prograti]

未確認情報ですが返金救済など個別事案の交渉内容はAWS カスタマーアグリーメントに記載されている「AWS秘密情報」に該当するらしいのでネット上に公開する場合はご注意を。 https://aws.amazon.com/jp/agreement/

[ryusanyou]

失敗体験共有の記事に超上からイキるのってどういう思考なんだろう？恥ずかしくないのかな？

[tech0403]

大量の負荷試験をやって、アマゾンにゴメンすれば返金されるって事？請求する側の神経を疑うがAWSもそんな運用で大丈夫か？CloudWatch助言される前にリリース前のテストを見直すのが先だろ。CTOが書くレベルかね、しかし

[als_uz]

“ほとんどの報告を口頭で行っていましたが、 この記事を参考に報告書を書いてみたところ、状況や思考がうまく整理され、かなりスッキリしました。 ” ポストモーテムだいじ

[ot2sy39]

お試しでawsアカウント作って放置しているが、心のどこかに恐怖感がある。休眠するにあたってクレカ情報削除できればいいのだが。

[route246]

これきっと、機能的な影響ってなかったんだろうな。これをテストやレビューで発見できると思ってる人は、相当に優秀か傲慢のどちらかだと思う。監視が大事だよね。

[keim_at_Si]

このエントリに限らないけど、今回のアドベントカレンダー、貴重な失敗体験を共有してくれてるのに上から目線で指摘して愉悦に浸るブコメが多くて共感性羞恥で辛い。有益な指摘ならちゃんとコメント欄に書こうよ

[zentarou]

パスで工夫せずにメタデータに処理済みフラグつけるのもいいよ

[macro1597]

アラート通知だけだと不安なので、一連の処理の実行回数に上限を設けて、上限を超えると自動的に停止するようにコーディングするとかかな？

[tettekete37564]

“CloudWatch にて請求アラートを作成いただき利用状況をモニタリングいただくこと AWS Budgets を利用いただくことで予想されるコストがお客様の作成した予算を上回る場合や予算を超えた場合にアラートを通知するよう設定”

[igrep]

AWSアカウント取得したら上限設定、アカウント取得したら上限設定…

[digo]

やりそう

[otihateten3510]

こういうのあるからクラウドこわいねん　損失ばっかり可視化されるんだもん

[Wafer]

次回「本当にあったＡＷＳでやらかした話を公開したらAmazonから叱られた話」

[kouyan_h]

やらかしたくない。

[ultimatebreak]

ただでさえも貴重な失敗談にめっちゃ上から目線でダメ出しする人いるけど、そんなんだから成功談しか表に出てこねえんだよ。言われなくてもやらかした本人たちが一番わかっとるやろ

[Palantir]

ほんわか金額

[new3]

概略図見て想定できるようなミスをやらかすのは確かに「やらかし」…しかし実装前にテストとかしないのか…

[yulalila]

ループ怖い。

[nowaai]

無限ループの怖さがここに凝縮されている

[onesplat]

おっやらかしアドカレ、ようやくマトモなの出て来たな、と思ったら野良だった😇

[t_yamo]

資源が無尽蔵にあって資源枯渇で勝手に停止してくれないAWSの料金周りで一番怖いのは設定ミスによる無限1UP（永久再起動とか無限ループとか）よね。AWSアカウント取得したら真っ先に請求アラート設定してる。

[stp7]

無限ループ…！

[rryu]

Observerパターンで無限ループするあるあるなやつだ。

[delphinus35]

そうそうこういうの求めてたんだよ、と最後まで読み終わった後に、本番やらかしアドカレの記事でなかったことに気づいた……

[hakob]

AWSそろそろ「上限金額超えたらすべての処理をストールさせる設定」が出ないものなのかな。アラームはCloudWatchで可能だけど / この手の話無限にある…サービスがスケールしないのに使用料スケールしちゃうやつ

[dominion525]

「本番環境でやらかしちゃった人」じゃなくて「AWS」なのか、アドベントカレンダとしては。絶対前者の話しだと思って読んでた。

[shikiarai]

これ逆にウォッチする設定にして同じこと起こしたら俺らのおかげで気付けたんだから返金は無理よとかにならないかな（ドキドキ）

[redredstar]

CTOがこういう失敗談してくれるの、非常に良くない？

[yarumato]

“使用料金以外にLambdaで10万円、S3で30万円の請求が来た。Lambdaは返金された。　加工画像フォルダ指定まちがいで無限ループ。対策：AWS Budgetsアラート通知、CloudWatchでLambda実行回数しきい値通知（メールとSlack）設定”

[kyokucho1989]

請求アラートだいじ。無料枠を使っているので、1$でも発生したら通知がくるようにしてる。

[Cald]

今年のアドベントカレンダーこわい

[somemo]

lambda再帰

[upran]

S3の30万円は払ったんだね。第三者の不正利用じゃないからしょうがないか。

[UME]

ありそうなミス。わりといろんな人が同じような請求されてると思うよ。請求フィルターはAWS側のデフォでなんか設定されると良いんですけどね。

[umai_bow]

まあありそうなミス。ただ、料金については逆に思ったより安いな〜って印象だ

[z1h4784]

図を見た瞬間無限ループだと思った。こういう攻撃もあるから要注意