Fargate Spotを本番運用するための監視の実践 - KAYAC engineers' blog
SREチームの橋本です。SRE連載の3月号となります。 Amazon ECSのコスト最適化においてはFargate Spotが有効な手段となりますが、いつ中断されるか分からない性質上、その監視も併せて実施していく必要があります。今回はそのFargate Spotを本番環境で運用しているプロジェクトにおける取り組みを紹介します。 背景 Fargate (Amazon ECS on AWS Fargate) を用いると負荷に合わせた容易なスケーリングが可能になる一方、このときCPU使用率の安全マージンや予測のブレなどにより、リソースがやや過剰になってしまうこともあります。 Fargate Spotの代表的なユースケースと言えばユーザーに露出しない開発環境ではないかと思いますが、このような場合にコストを考えると、タスクの中断をある程度許容しての本番環境でのFargate Spot運用も可能な選択
Amazon ECS and AWS Fargate now integrate with Amazon EBS
Amazon Elastic Container Service (Amazon ECS) and AWS Fargate now integrate with Amazon Elastic Block Store (EBS), allowing you to easily provision and attach EBS volumes to Amazon ECS tasks running on both AWS Fargate and Amazon Elastic Compute Cloud (EC2) using Amazon ECS APIs. This capability makes it easier for you to deploy storage and data intensive applications such as ETL jobs, media trans
freeeサインのAWSリージョンを移行した話 - freee Developers Hub
この記事はfreee 基盤チーム Advent Calendar 2023 の24日目の記事です。 はじめに はじめまして！ kanno と申します。freee SREで、freeeサインのプロダクトSREを担当しておりAWSインフラの改善や運用を主に行っています。初回の投稿で拙い文章になりますが、直近で実施したfreeeサインのAWSリージョンを移行した話を書こうと思います。 背景 元々、freeeサイン(旧ninja-sign)はHeroku上にアプリケーションをデプロイしていましたが、2022年の年末頃にAWSに移行しています。その際、元々のHerokuがus上で稼働していたことが影響して、AWSのバージニアリージョンに移行された状態でした。私がfreeeのサインチームにjoinしたのがこの時で、AWSリージョン移行を担当することになりました。 AWSリージョン移行のモチベーション
Amazon ECS の古いタスク定義を断捨離する "tdtidy" という隙間家具 OSS を作った | はったりエンジニアの備忘録
自分は Amazon ECS のデプロイに ecspresso を利用することが多いのですが、頻繁にデプロイする環境だと 1 年で数百を超えるタスク定義が作られます。直近の数世代はロールバックする可能性があるので残しておきたいのですが、さすがに数か月前のリビジョンに戻すことはないため不要なものは断捨離したいと思っていました。 そういうリクエストが多かったのか、以前はタスク定義を非アクティブにすることしかできませんでしたが、今年の 2 月についに削除できるようになりました。 Amazon ECS が非アクティブなタスク定義リビジョンの削除をサポート さらに AWS が管理する Containers Roadmap のプロジェクトを眺めてみると、Issue #1967 でタスク定義にライフサイクルを追加してほしいというリクエストが挙がっていました（この Issue を作ったのは中の人っぽいので
インフラ初心者がゼロダウンタイムでECS clusterの切り替えに挑戦した話〜式年遷宮〜 - カミナシ エンジニアブログ
こんにちは。カミナシでソフトウェアエンジニアをしているaomanです。 私のエンジニアとしての経歴はカミナシが2社目で、前職も含めフロントエンドからバックエンドまで一通り開発はしていました。ですが、AWSなどインフラに関しては、アプリケーション開発時必要になったところを少し触ったりするくらいで、ガッツリと本格的に学んだことがありませんでした。 そんな私ですが、今回ECS Clusterの切り替え作業を先輩エンジニア監修の元一緒に行う機会をいただきました。どのようなことをしたのか、簡単にではありますがご紹介させて頂こうと思います！ ざっくり概要 カミナシのサービスでは、APIサーバーの運用にAmazon ECS（on Fargate）を利用しています。また、APIサーバーコンテナの他にいくつかのコンテナが起動しています。以下がざっくりとした図になります。1つのTask定義があり、4つのコンテ
unbufferでAmazon ECS Execを端末以外から実行する - 酒日記 はてな支店
検索で引っかかるように書いておきます。 ECS Exec (ecspresso exec, ecsta exec, aws ecs execute-commandなど)を端末以外の環境 (例えばJenkinsやGitHub ActionsなどのCI/CD環境) から実行すると、session-manager-pluginが "Cannot perform start session: EOF" でエラーになります。 これは session-manager-plugin が端末(tty)を割り当てられていることを期待しているためです。 expect パッケージに含まれる unbuffer コマンドでwrapして実行して疑似端末を与えると、端末以外からも実行できるようになります。 $ unbuffer aws ecs excute-command ... ECS Execを端末じゃないところか
Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate | Amazon Web Services
Containers Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate Introduction An Amazon Elastic Container Service (Amazon ECS) task is a number of co-located containers that are scheduled on to AWS Fargate or an Amazon EC2 container instance. Containers use Linux namespaces to provide workload isolation—and with namespaces—even though containers are scheduled together in an Amaz
カスタマイズで広がるAWS Copilotの実践力 - KAYAC engineers' blog
SREチームの橋本です。SRE連載の7月号になります。 カヤック社内では弊社藤原のecspressoをAmazon ECSのデプロイツールとして活用していますが、AWS公式のデプロイツールAWS Copilot(現在v1.29)もそのオールインワン的な性質から、開発・運営リソースが限られるプロジェクトでは選択肢に入るようになってきました。 今回はそのAWS Copilot活用のため、背後にあるAWS CloudFormationテンプレートをカスタマイズする手法を紹介します。 AWS CopilotとCloudFormation AWS CopilotはECSなどのデプロイを簡単にするCLIツールですが、実態としてはManifestと呼ばれるYAMLの設定ファイルからCloudFormationテンプレートを生成し、各種リソースを作成・管理するものです。 AWS Copilotは内部的にC
ecspressoを活用したECSデプロイの改善 - LayerX エンジニアブログ
2月にバクラク事業部Platform Engineering部DevOpsチームに入社したid:itkqです。7月はLayerXエンジニアブログを活発にしよう月間 ということで、この記事では、私が入社してから中心となって進めた、ECSサービスのデプロイの改善について書いています。 バクラクのインフラ 私が所属するバクラク事業部では、バクラク請求書をはじめとする、BtoB向けのSaaSを提供しています。SaaSは主にAWS上でホストしており、サービスの大半がECS Fargateにデプロイされています。昨年、プロダクト開発をイネーブルメントするEnablingチームが発足し*1 、今後の事業成長を支えられるようなソフトウェアアーキテクチャと周辺の仕組みが発達してきています。以下の記事で述べられているように、モノレポかつサービスが多数存在します。 tech.layerx.co.jp DevOp
AWS Fargate Enables Faster Container Startup using Seekable OCI | Amazon Web Services
AWS News Blog AWS Fargate Enables Faster Container Startup using Seekable OCI While developing with containers is becoming an increasingly popular way for deploying and scaling applications, there are still areas where improvements can be made. One of the main issues with scaling containerized applications is the long startup time, especially during scale up when newer instances need to be added.
Amazon ECS が、キャパシティプロバイダーを使用したタスク起動のトラブルシューティング時にコンテキストに基づく失敗理由の提供を開始
Amazon Elastic Container Services (Amazon ECS) が、コンテキストに基づく失敗理由の提供を開始しました。これにより、お客様がキャパシティプロバイダーを使用してクラスターのコンピューティング容量を自動スケーリングする場合に、タスク起動の失敗のトラブルシューティングが容易になります。 ECS キャパシティプロバイダーは、アプリケーションのキャパシティに関する要件に基づいて Amazon EC2 インスタンスを自動的にスケールするように設計されています。そのため、基盤となるインフラストラクチャのスケーリングを管理しなくても、アプリケーションをシームレスにスケーリングできます。キャパシティプロバイダーを使用すると、ECS は、使用可能なキャパシティがない場合でも、Auto Scaling グループにキャパシティを自動的に追加することによってタスクの実行を
AWS CDK + ecspressoでAWSコンテナリソースの管理をラクにしよう！ - Qiita
はじめに 最近、AWS CDKでコンテナ関連のリソース構築をしておりますが、コンテナリソースをどこまでCDKで実装するべきかが大きな悩みの種でした。 今回、コンテナ周辺のリソースをCDK、コンテナ本体のリソースをecspressoで構築した為、構築内容の紹介となっています。 ecspressoとは ECSサービス、タスクに関わる最小限のリソースをコード管理する事ができるツールです。 CDKを使う中で「CDKでサービス定義、タスク定義をするのは運用上厳しい」と感じた為、 CDKでサービス定義、タスク定義以外のリソースを構築 ecspressoでサービス定義、タスク定義、デプロイにも利用 ecspressoの外部参照機能（後述）を利用し、CDKで定義したリソースを取り込み といった構築の仕方をしています。 動作環境 cdk 2.59.0 ecspresso v2.1.0 構築内容 今回はサンプ
ecstaを使ってAmazon ECSコンテナ開発効率を上げよう!
Amazon ECSでコンテナ開発・運用していると、デバッグのためにコンテナに入って調査したり、タスク起動失敗時のログを調査したり、Fargateを踏み台にポートフォワードなどのように、アドホックにコンテナを操作したいことがあります。 そんなときにぴったりなのが、ecspressoの開発でもお馴染み @fujiwara さん作による ecsta("ECS Task Assistant") です。 ECS利用者にとって、スイスアーミーナイフのように役立ってくれるでしょう。 注意 ecsta はアルファ版です。 バグや将来的な仕様変更は大いにあります。 自己責任でご利用ください。 機能一覧 helpコマンドから、以下の機能を確認できます タスクをlist タスクをdescribe タスクのログを表示 タスクのイベント・ログを時系列順に表示 タスクの停止 ECS Exec タスクを踏み台にしたポ
はてなブログをECSに移行してリリース頻度も改善した話 - Hatena Developer Blog
この記事ははてなエンジニア Advent Calendar 2022の26日目のエントリです。 こんにちは id:cohalz です。はてなブログでは2022年7月にインフラをAmazon EC2からAWS ECS(AWS Fargate)に移行するプロジェクトが完了しました。 プロジェクトは2021年9月から始まったので約10ヶ月間という大きなプロジェクトでした。 プロジェクト完了までに行ってきたことのうち、特に面白かったところなどをこの記事で実施した順に振り返ってみます。 はてなブログのインフラのこれまで アプリケーションを動かせるようにする ALBを追加する 検証環境を用意だけしておく プロキシの設定埋め込み 証明書の配信 アクセスログを配送できるようにする アクセスログの形式を新しくする EC2でもFirehoseを経由するように タイムゾーンをUTCに統一 FirehoseのLa
Amazon ECS now integrates with Amazon CloudWatch alarms to improve safety for deployments
Today, Amazon Elastic Container Service (Amazon ECS) announced a new feature that enables customers to add automated safeguards for Amazon ECS service rolling updates. You can now monitor and automatically react to changes during an Amazon ECS rolling update by using Amazon CloudWatch alarms. This enables you to more easily automate discovery and remediation for failed deployments and minimize the
ECS on Fargate のデプロイツールを調べてみた【ver2022】 - 完全に理解した.com
ECS on Fargate は AWS のアプリケーション実行環境として近年定番の選択肢です。 そんな ECS on Fargate について、Infrastructure as Code や CI/CD などを含めて環境を整えようとすると、何かしらのツールが必要になります。 2020 年時点の情報としては AWS Dev Day Japan の「第2回 AWS Fargate かんたんデプロイ選手権」という資料があり、ECS on Fargate のデプロイツールを比較するうえでとても参考になるのですが、AWS のアップデートはとても早いです。 2022 年 12 月の時点で ECS on Fargate のデプロイツールをいくつか試してみたので、得られた知見をまとめておきます。 調査したツール 今回 ECS on Fargate のデプロイツールを調査した理由は、実際に ECS on
ECS Service ConnectをCDKでデプロイしてみた | DevelopersIO
CX事業部Delivery部の新澤です。 先日発表されたECSの新しいマイクロサービス間通信の機能「Service Connect」が、CDKでも早速リリースされていましたので試してみました！ 概要 Service Connectの動作確認をするため、同じCloudMap名前空間の中にサーバーとクライアントの2つのFargateサービスを作成してクライアントからサーバーに対して通信を行ってみたいと思います。 また、CloudMap名前空間外のEC2インスタンスから通信を行った場合はどうなるのかも併せて確認してみます。 Fargateサービスは簡単に作成するためにクライアント、サーバーともにnginxのコンテナイメージを用います。 クライアントからサーバーへの疎通確認は、クライアントにECS Excecを使ってリモートログインして、curlコマンドでリクエストしてみます。 また、CloudM
New – Amazon ECS Service Connect Enabling Easy Communication Between Microservices | Amazon Web Services
AWS News Blog New – Amazon ECS Service Connect Enabling Easy Communication Between Microservices Microservices architectures are a well-known software development approach to make applications composed of small independent services that communicate over well-defined application programming interfaces (APIs). Customers faced challenges when they started breaking down their monolith applications int
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソニーにおける App Runner 導入事例と生の体験談の紹介 / Case study and real experience of using App Runner in Sony products
ECSのCI/CD改善と標準化の取り組み / JAWS FESTA 2023 in Kyushu
