あと2時間でElastiCacheのメモリが枯渇！そのときあなたは何をしますか？
突然ですが... あなたは、あるゲームプロジェクトの本番リリース2日前にサーバエンジニアとしてJOINしました。いざリリースを迎えたとき、ElastiCacheのメモリが突然危険域を超え、さらにあと2時間で枯渇しそうな状況になりました。 さて、この状況におかれたあなたは何をしますか？ はじめに モバイルゲームのシステムは新しいイベントをopenするとトラフィックが2倍、3倍、時には普段の10倍以上来ることがあり、トラフィックの変動が非常に大きい特性があります。 新しいゲームのリリース時はより顕著で、想定以上のトラフィックが来ることもしばしばあります。 この記事は、あるゲームプロジェクトの本番リリース時に大規模トラフィックが来た際のサーバトラブルを題材に、 どのような観点で問題を切り分けていったのか、トラブルシュートのプロセス どのような準備(負荷テスト)をしていれば防げるのか という話をし
ECS GPU-optimized AMIでECSを構築する - 本日も乙
ECS で GPU インスタンスを使うときに、以前は自分で NVIDIA ドライバを入れたり、ECS エージェントを入れたりする必要がありましたが、最近（といっても昨年2月ですが）ECS GPU に最適化された AMI が出たことで ECS で GPU が使いやすくなりました。 aws.amazon.com ECS で GPU を使う機運が高まってきたので試そうと思ったのですが、参考記事が意外と少なく、ドキュメントも質素なので情報が多く出回っていないようでした。 Amazon ECS での GPU の使用 - Amazon Elastic Container Service そこで本記事は ECS GPU-optimized AMI で ECS クラスタを構築してみました。ECS サービスは作らずに nvidia-smi コマンドを実行するだけの簡単な ECS タスクを実行するだけです。G
Docker ComposeのAmazon ECSデプロイを試してみた - SMARTCAMP Engineer Blog
スマートキャンプ、エンジニアの入山です。 2020年7月にDockerとAWSのコラボレーションにより、単一コマンドでDocker ComposeのyamlファイルからAmazon ECS上に各コンテナをデプロイできる機能追加が発表され、非常に注目を集めました！ From Docker Straight to AWS - Docker Blog AWS and Docker collaborate to simplify the developer experience | Containers ローカルでDockerを利用して開発を行っている方々は、ほぼ間違いなくDocker Composeを利用してアプリの動作に必要な各コンテナを一括管理しているかと思いますが、このECS Pluginを利用するとAmazon ECSへの各コンテナのデプロイとECSの動作に必要な各AWSリソースを一括し
1環境あたり月約2.7USDで、ECS Fargateを使ってブランチ毎にQA環境を自動生成した話 - LCL Engineers' Blog
こんにちは。id:kasei_san です バス比較なびのバスツアー検索サービスにて、ブランチ毎にECS FargateでQA環境を自動生成する仕組みを格安で作成したので、ドヤりたくなり記事を書きました! 課題 バス比較なびのバスツアー検索サービス(以降「バスツアー」)では、動作確認環境が stage 環境しかありませんでした。 そのため、以下のような事象が発生し、デリバリー速度が低下するという課題がありました。 stageでの動作確認がボトルネックになり、、他の修正をstageに上げたり、リリースすることができない 大きい修正もすべて完了してからstageにあげていたので、手戻りが発生することがあった 解決方法 解決のためにチームで話し合い、ブランチ毎に環境があれば、待ちも発生せず、作りかけの時点で確認してもらうこともできる。となりました。 どういうものを作ったか このようなものを作成し
ECS Capacity Auto ScalingをTerraformで実装する - Sansan Tech Blog
はじめに DSOCインフラチームの藤田です。昨年からプレイしているデス・ストランディングがまだ折り返し地点にも至っていなかったことを知りました。原因は一生懸命国道を作りすぎたためだと思います。 今回は昨年のre:Inventで発表されたECS Capacity Auto ScalingをTerraformで実装してみた結果を共有します。 ECS Cluster Auto Scaling とは 一言でとても乱暴に説明すると、ECS on EC2においてEC2のオートスケーリングを考えなくても良くなります。今回はTerraformで実装した部分にのみフォーカスするので詳細は割愛します。以下リンクで詳しく説明されています。 dev.classmethod.jp aws.amazon.com またこちらではキャパシティの計算方法や、スケールインの挙動などが詳しく説明されています。 aws.amaz
Amazon ECS Capacity Provider と Fargate Spot と ECS Cluster Auto Scaling を整理する - 平常運転
ラスベガス帰りの id:astj です。 今年も re:Invent ではたくさんのサービスリリース/アップデートがあって目が回るような思いでした。現地にいたからキャッチアップできた中身もあれば、しれっとリリースされていて現地でセッションを聞いてるだけだと気づきそびれた中身もあって物量に圧倒されております。 さて、本稿では2019年の re:Invent で発表された ECS 関連のリリースのうち、以下の3つを中心に整理してみようと思います。 Amazon ECS Capacity Provider AWS Fargate Spot AWS ECS Cluster Auto Scaling 遅くなりましたが（ダブルミーニング）、このエントリは はてなエンジニア Advent Calendar 2019 の12/9分のエントリです。ラスベガス時間ではまだ 12/9 ではないでしょうか。そうい
GitHub - nathanpeck/awesome-ecs: A curated list of awesome ECS guides, development tools, and resources
A curated list of guides, development tools, and resources for Amazon Elastic Container Service (ECS). This list includes both community created content as well as content created by AWS. Are you looking for infrastructure as code templates and tutorials for ECS? Containers on AWS is the new home for CloudFormation, Terraform, and AWS Cloud Development Kit samples that make deploying with ECS fast
Fargate Spotとはなにか？全9項目で説明する #reinvent ｜ Developers.IO
「え？？？FargateにSpot？何言ってるかわからない」 Fargate Spot、いきなりでましたね。AWSで言うところの「Spot」は通常Spotインスタンス（=EC2）のことを表現するので、ホストインスタンスを持たないFargateにSpotと聞いて私も意味がわかりませんでした。弊社ブログでも既に速報が挙がっています。 【最大70%引きで使用可能、東京でも利用可能】AWS Fargate Spotがリリースされました。#reInvent ｜ Developers.IO [新機能] AWS FargateにSpotキャパシティプロバイダが追加されたので試してみた ｜ Developers.IO この記事では、Fargate Spotを使う上で必ず理解しておくべき上位概念のCapacity providerの解説と、利用上の各種注意事項をまとめます。はっきり言ってかなり複雑なので覚悟
ECSやEKSのメトリクスを一括取得するContainer Insightsが一般公開！既存ECSクラスタも追加設定可能に！ | DevelopersIO
「これで… これでAWSのコンテナワークロードは、全て、すべて丸見えなんやで… ﾊﾞﾀｯ」 しばらくまえにパブリックプレビューとして提供されていたContainer Insightsですが、ついにGA（一般公開）の運びとなりました!! Container monitoring for Amazon ECS, EKS, and Kubernetes is now available in Amazon CloudWatch 従来のCloudWatchでは取得できなかったタスクやコンテナ単位のメトリクスが、Container Insightsによって取得できます。 さらにGAによって、既存のECSクラスタも追加設定が可能になっており、既に構築済みのクラスタに対して「1分」でContainer Insightsがお手軽に利用できます！！まずは、手元の環境でONにしてもらい、そのメトリクスの便利さ
Amazon ECSを安定運用するためにやっていること コンテナインスタンス、ログ、モニタリングにおける工夫
2018年11月28日、クックパッド株式会社が主催するイベント「Cookpad Tech Kitchen」が開催されました。第20回となる今回のテーマは「クックパッドのマイクロサービスプラットフォーム現状」。クックパッドが開発を行っているマイクロサービスプラットフォームの今と、その仕組みについて解説します。プレゼンテーション「Amazon ECS の安定運用のために」に登壇したのは、鈴木康平氏。クックパッドにおけるAmazon ECSの運用事例と工夫していることについて解説します。講演資料はこちら Amazon ECSの安定運用 鈴木康平氏：「Amazon ECSの安定運用」というタイトルで発表したいと思います。今回のアウトラインとしては、「ECSをどう使うか」みたいな話ではなくて、そのECSを運用していく上でこんなことやっていますよということを話していければなと思います。 内容としては、
【全世界のFargateファンに朗報】Fargate利用料が35%〜50%値下げされました！ ｜ DevelopersIO
値下げ幅については、以下の設定となっています。 1ｖCPUあたり、最小メモリ構成で35%OFF 同じCPU構成で、メモリが増えていくに従い、値下げ幅が50%に近づく EC2との価格比較詳細 弊社大栗による、EC2との詳細な価格比較記事がでております。EC2から移行される際は、是非こちらも参考にしてみてください。幅はありますが、概ね素のEC2から3〜25%ぐらい割高となっています。 2019年1月にAWS Fargateが大幅値下げしたのでEC2との価格比を確認してみた 通常、EC2でECSを動かしている場合、タスクがスケールした時や、タスクの入替えのために、ある程度の余剰リソースをEC2インスタンスに確保しておくことが必要でした。そのあたりの無駄がなくなること諸々を考えると、この価格は十二分にコストメリットがでていると言えます。 Fargate大幅値下げの背景にFirecracker有り
AWS Fargateを本番運用した所感 - コネヒト開発者ブログ
こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、Fargateを本番投入し1ヶ月強が過ぎたので、運用する中で気付いた点について書こうと思います。 以前書いた、Fargateに関する調査のまとめ記事はこちら。 tech.connehito.com 内容はざっくり下記3項目です。 いきなりFargateはハードルが高め 良かった点 コンテナのリソースキャパシティを簡単に変更出来る オートスケーリングもシンプルに組める 安定運用 つらい点 タスクの起動速度がEC2バックエンドと比べるとやはり遅い 料金面 いきなりFargateはハードルが高め Fargate導入を通して一番感じたのは、新規にコンテナ化するアプリケーションをECSで動かす場合、EC2バックエンドで試験をパス出来る状態まで持っていった後に、最後にFargateで動かすパターンがよさそうということです。 今回のF
コンテナデプロイ基盤の検証 - Hatena Developer Blog
はじめに はてなサマーインターン2018の大規模システム開発コースの成果報告をします。 今年は、メンターのid:cohalzさん、id:wtatsuruさんの下、実際に使われているサービスをAmazon ECS(Elastic Container Service)にデプロイする基盤を構築しました。 コンテナでサービスを本番運用するために、AutoScaleの検証や、デプロイ時間の計測、改善策の検証を行いました。また、開発、デプロイフローを楽にするために、AWS CodeBuild、CodePipelineを使ってCI/CDの構築も行いました。これにより、PullRequestごとにCIが走り、masterにマージされたら自動でECSにデプロイすることができるようになります。高速なデプロイ切り替えを行うために、Blue-Green Deploymentの検討も行いました。 他にも、Micro
RailsアプリをECSで運用するまでにやったこと、これからしていくこと - スパイスな人生
おはようございます。一番よく使うemojiは 👀 (:eyes:) のうなすけです。 さて弊社では、最近社内Railsアプリをひとつ構築しました。それをECSで運用することにしたので、そこに至るまでの経緯、つまづき、これからの課題などなどを記事にしていこうと思います。上の図は現時点での簡単なAWS上での構成図です。 以下、見出しは時系列順でやったことを記録していきます。 社内Railsアプリ、一体どんなもの？ ここで新規に構築することになった社内Railsアプリですが、特に凝ったことはしていない単純なRailsアプリです。初めからECSで運用することにしていたので、開発環境も全てDockerで構築しています。Railsのバージョンは5.1.0、Docker imageのFROMにはruby:2.4.1-silmを採用しています。 Docker imageのtagについて developm
AWS ECSのサービスをslack botでデプロイする - クラウドワークス エンジニアブログ
みなさんさようなら．インフラ部の@h3_potetoです． CrowdWorksは大きなRailsアプリケーションですが，最近ではこの大きさで管理していくのもう無理な気がしてきて，マイクロサービスっぽくしていこうという動きがあります（が，まだ全然マイクロサービスではないです）． それでも一部を切り出すことには成功していて，多少なりともマイクロサービスの運用っぽいことも必要になってきました． で，今回は僕の趣味のデプロイの話です． サービスはDockerに載せたいよ CrowdWorks本体は，Docker化まで程遠い感じがしているんですが，切り出したマイクロサービスなら，最初からDocker前提で作ることが出来ます． これなら楽にDockerで本番運用まで行けそうな気がしていました． 他のサービスを色々AWS上に構築していることから，Dockerでアプリケーションを動かすのもAWSでなんと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - fukubaka0825/terraform-elasticsearch-and-kibana-on-ecs: terraform-elasticsearch-and-kibana-on-ecs
Webサービスを1日10回デプロイするための取り組み / SRE NEXT 2020
GitHub - hareku/terraform-nuxt-fargate
https://thecode.pub/easy-deploy-your-docker-applications-to-aws-using-ecs-and-fargate-a988a1cc842f
ECS Fargate build on AWS CodeBuild
