コンテナデプロイ基盤の検証 - Hatena Developer Blog
はじめに はてなサマーインターン2018の大規模システム開発コースの成果報告をします。 今年は、メンターのid:cohalzさん、id:wtatsuruさんの下、実際に使われているサービスをAmazon ECS(Elastic Container Service)にデプロイする基盤を構築しました。 コンテナでサービスを本番運用するために、AutoScaleの検証や、デプロイ時間の計測、改善策の検証を行いました。また、開発、デプロイフローを楽にするために、AWS CodeBuild、CodePipelineを使ってCI/CDの構築も行いました。これにより、PullRequestごとにCIが走り、masterにマージされたら自動でECSにデプロイすることができるようになります。高速なデプロイ切り替えを行うために、Blue-Green Deploymentの検討も行いました。 他にも、Micro
Amazon ECS サービスディスカバリ | Amazon Web Services
Amazon Web Services ブログ Amazon ECS サービスディスカバリ Amazon ECS でサービスディスカバリがサポートされました。これにより、ECS サービスが Amazon Route 53 の予測可能でフレンドリーな DNS 名で自動的に登録することができるようになります。負荷やコンテナの健全状態に対応してサービスがスケールアップまたはダウンすると、Route 53 のホストゾーンは最新の状態が保たれ、他のサービスが各サービスの状態に基づいてコネクションを行う必要がある場所を発見できるようになります。次のアドレスで、架空のソーシャルネットワークアプリでサービスディスカバリのデモを見ることができます。https://servicediscovery.ranman.com/. マイクロサービスや最新のアーキテクチャへの移行の一部には、障害や変化する負荷に迅速に対
Amazon ECS Now Supports Docker Volumes and Volume Plugins
You can now easily configure your containerized application to access storage volumes backed by Local instance storage, Amazon Elastic Block Storage (EBS) or Amazon Elastic File System (EFS) volumes through the use of Docker volume drivers and volume plugins such as Rex-Ray and Portworx. Previously, if you wanted to deploy containerized applications that required access to storage volumes, you had
EC2 Container ServiceのBlue/Greenデプロイメント | Amazon Web Services
Amazon Web Services ブログ EC2 Container ServiceのBlue/Greenデプロイメント この投稿と付随するコードの作成には、下記3名による多大な貢献がありました。 コンテナ化されていないトラディショナルな環境にソフトウェアアップデートを展開するのは難しく、リスクを伴います。デプロイパッケージまたはスクリプトを記述するときは、ターゲットマシンが特定の状態にあると仮定する必要があります。ステージング環境が本番環境の正確なミラーイメージでない場合、デプロイは失敗する可能性があります。デプロイが失敗すると、アプリケーションの最後の正常なバージョンを再デプロイするまでサービス停止が起きることがあります。あなたが運用管理者だとしたら、サービス停止があると夜間に起きていなければいけないでしょう。 リリース内容の審査が終わるまでユーザーに新しいバージョンをさらすこと
Amazon ECSサービスの新しいDAEMONタイプでECSインスタンスごとにコンテナを配置する｜Developers.IO
ども、大瀧です。 AWSのDockerコンテナ管理サービスAmazon ECSの管理画面を眺めていたら、ECSサービスの設定画面にサービスタイプという項目が追加されていました。本記事ではサービスタイプとして新たに追加されたDAEMONタイプをご紹介します。 ECSサービスとDAEMONタイプ ECSではDockerコンテナの実行数や配置を管理するECSサービスという機能があり、従来はDockerを実行するホスト(ECSインスタンス)の配置ルールをある程度決める一方で、1ホスト1コンテナと配置する仕組みがありませんでした。今回追加されたDAEMONタイプは、ホストの増減に合わせて1コンテナずつ実行する新しいECSサービスの設定です。なお、DAEMONタイプの追加に伴い、従来のルールベースのECSサービスはREPLICAタイプと分類されるようになりました。 設定方法と動作確認 動作確認環境 :
AWSはなぜ、ECSがあるのにKubernetesのサービスを始めたのか、コックロフト氏に聞いた
AWSはなぜ、ECSがあるのにKubernetesのサービスを始めたのか、コックロフト氏に聞いた：AWSとオープンソース（1） Amazon Web Servicesが、オープンソースへの取り組みを強めている。同社は具体的に、何をどのようにやろうとしているのか。AWSクラウドアーキテクチャ戦略バイスプレジデントのエイドリアン・コックロフト氏へのインタビューを、2回に分けてお届けする。前半では特に、Kubernetesベースのコンテナ管理基盤運用サービスを提供開始した理由などを聞いた。 Amazon Web Services（以下、AWS）が、オープンソースへの取り組みを強めている。同社は具体的に、何をどのようにやろうとしているのか。本連載では、同社におけるオープンソースへの取り組みを指揮する、AWSクラウドアーキテクチャ戦略バイスプレジデントのエイドリアン・コックロフト（Adrian Co
Amazon ECSとKubernetesの統合サービスディスカバリー | Amazon Web Services
Amazon Web Services ブログ Amazon ECSとKubernetesの統合サービスディスカバリー 本日（訳注：2018年5月31日）から、Amazon Elastic Container Service（Amazon ECS）およびKubernetesによって管理されるサービスの統合サービスディスカバリーを活用することができます。私たちは最近、Amazon Route 53 Auto Naming（オートネーミング）APIを使用してサービス名のレジストリを作成および管理することにより、コンテナ化されたサービスの発見と相互接続を容易にするECSサービスディスカバリーを導入しました。サービス名は、一連のDNSレコードセットに自動的にマップされます。これにより、コード内でサービスを名前（backend.example.comなど）で参照可能となり、実行時にサービスのエンドポ
[Google Cloud Platform] GKE と ECS を色んな角度から比較してみた | AI tech studio
こんにちは。アドテクスタジオでネットワークエンジニアをしている山本 孔明です。 コンテナ流行ってますね。そんなコンテナを使いたいとなった時にクラウドで利用することを考える方も多いと思います。今日は、AWS と GCP の2つのパブリッククラウドサービスで提供されているコンテナのマネージドサービスである「Amazon EC2 Container Service (ECS)」と「Google Container Engine (GKE)」の比較をしてみました。 はじめに Google Trend の結果を見てみます。ECS で検索すると他のワードが入ってきたりとノイズもありますので、それぞれ正式名称で比較しています。 やはりどちらもコンテナのマネージドサービスとして同程度の関心をもたれていることがわかります。 1. サービス概要について 簡単に両者のサービスを説明します。 1-1. GKE G
![[Google Cloud Platform] GKE と ECS を色んな角度から比較してみた | AI tech studio](https://cdn-ak-scissors.b.st-hatena.com/image/square/1490f323b28df0dbfabb0fb6b832def7cf6223e8/height=288;version=1;width=512/https%3A%2F%2Fcyberagent.ai%2Fwp-content%2Fuploads%2F2016%2F10%2Ffa6e7a57a3593f1e4d53d33265387fb4_s.jpg)
ECS のデプロイツール ecspresso と、環境変数を展開して YAML/JSON/TOML を読み込む go-config について - 酒日記 はてな支店
OSS紹介 Advent Calendar 2017 - Qiita 18日目の記事です。(一週間遅れ) Amazon ECS へのデプロイツール ecspresso と、そこで使っている環境変数を展開しつつ複数の YAML/JSON/TOML を読み込む config loader である go-config の紹介をします。 ecspresso github.com 「エスプレッソ」と読みます。Go で書かれた Amazon ECS 用のデプロイツールです。以下の3つのファイルを用いて ECS へのサービス、タスク定義作成、入れ換えを行います。 YAML の設定ファイル タスク定義のための JSON (aws ecs describe-task-definition 出力と互換) サービス定義のための JSON (オプション。aws ecs describe-services 出力の
タスクIAMロールとパラメータストアを利用したAmazon ECSアプリケーションの秘密情報管理 | Amazon Web Services ブログ
Amazon Web Services ブログ タスクIAMロールとパラメータストアを利用したAmazon ECSアプリケーションの秘密情報管理 同僚のStas Vonholskyが、Amazon ECSアプリケーションの秘密情報管理に関する素晴らしいブログを寄稿してくれました。 —– コンテナ化されたアプリケーションとマイクロサービス指向のアーキテクチャが普及するにつれて、アプリケーションデータベースにアクセスするためのパスワードなどの秘密情報を管理することは、より困難かつ重要になっています。 いくつか課題の例を挙げます： dev、test、prodなどのさまざまなアクセスパターンをコンテナ環境全体でサポートしたい ホストレベルではなくコンテナ/アプリケーションレベルで秘密情報へのアクセスを隔離したい サービスとしても、他サービスのクライアントとしても、アクセスが必要である疎結合なサービ
AWS Fargateの紹介 – インフラストラクチャの管理不要でコンテナを起動 | Amazon Web Services
Amazon Web Services ブログ AWS Fargateの紹介 – インフラストラクチャの管理不要でコンテナを起動 コンテナは、開発者がアプリケーションを開発・パッケージ・デプロイするのに強力な手法の１つです。AWSでは、十万以上のアクティブなECSクラスタが稼働しており、毎週数億の新しいコンテナが起動しています。これは、2016年からすると400%を超えるお客様成長率です。Amazon ECSやKubernetesといったコンテナのオーケストレーションソリューションは、コンテナワークロードのデプロイ・管理・スケールをより容易にし、敏捷性を増します。しかし、それらのどのソリューションも下回りとなるインフラストラクチャの可用性、キャパシティやメンテナンスを行う必要が依然としてあります。AWSにおいて、私たちはこれを差別化とならない重労働を取り除く機会と考えました。私たちは、コン
Amazon ECSコンテナにCloud Native Networkingが登場 | Amazon Web Services ブログ
Amazon Web Services ブログ Amazon ECSコンテナにCloud Native Networkingが登場 この記事はECSのSr. Software Dev EngineerのAnirudh Aithalの寄稿です。 2017年11月14日に、AWSはAmazon ECSのTask Networkingを発表しました。これによって、Elastic Network Interfaceを使ったAmazon EC2のネットワーク機能をタスクに持ち込むことができるようになります。 Elastic Network InterfaceはVPC内のインスタンスにアタッチすることができる仮想的なネットワークインタフェースです。EC2の仮想マシンを起動する時には、インスタンスにネットワークの機能を提供するために自動的に1つのElastic Network Interfaceがプロビ
Mackerel で ECS の動的ポートマッピングに対応したタスクのメトリクスを取得する - kakakakakku blog
前回書いた記事に続き，Mackerel を使って ECS のメトリクスを取得する方法を検証していて，今回は「パターン2 : コンテナインスタンスに mackerel-agent をインストールする」の検証結果をまとめる．前提としては前回と同じで，ALB の動的ポートマッピングを使う． パターン1 : mackerel-agent タスクをコンテナインスタンスごとに起動する パターン2 : コンテナインスタンスに mackerel-agent をインストールする kakakakakku.hatenablog.com メリデメ 最初に「パターン2」のメリデメを整理しておく．「パターン1」では実現できなかった「タスク特有のメトリクスを取得できる」点が大きなメリットで，今回この「パターン2」を採用することにした． メリット mackerel-plugin-docker でコンテナインスタンスのメト
We switched to Amazon ECS and you won’t believe what happened next
The Mapbox platform is powered by Amazon Web Services — specifically, most of our computing workloads run on AWS EC2. We’re in the process of wrapping up a company-wide migration (led by the Platform team) onto Docker, hosted on AWS ECS (EC2 container service). Here’s what we’ve achieved by containerizing any and all of our computing needs: 1| Lower AWS bills. By switching to ECS we cut our EC2 bi
ECSタスクのためのIAMロールによってコンテナ利用アプリケーションをより安全にする | Amazon Web Services
Amazon Web Services ブログ ECSタスクのためのIAMロールによってコンテナ利用アプリケーションをより安全にする Amazon ECSでは、コンテナから簡単にAPIリクエストを行うために、Amazon EC2のIAMロールをいつでも使うことができます。これによって、AWSの認証情報をコードや設定ファイルに保存しないというAWSのベストプラクティスに従うことができる上に。鍵の自動ローテーションといった利点も得られます。 例えば、ECSとAmazon S3を使った秘匿情報管理システムを作ったり、Amazon DynamoDBを使って状態管理したり、S3を使ってコンテナによって生成された成果物を保存したり、ということがロールによって可能であり、全てにおいてAWSの認証情報をコードの中に全く持つ必要がありません。 今までは、Amazon EC2のIAMロールを使う必要がありまし
Deep Learning Image Recognition Using GPUs in Amazon ECS Docker Containers
Update: it’s no longer necessary to copy the drivers into the runtime and expose volumes from the host. We’ve written up a “How To” on the the new process here: https://medium.com/@bfolkens/deep-learning-image-recognition-using-gpus-in-amazon-ecs-docker-containers-part-ii-56748701b116 Scaling up a web service was once a nightmare among DevOps. Provisioning and maintaining ‘N’ machines, handling fa
AWS Solutions Architect ブログ
本日私達はBloxという新しいオープンソースプロジェクトをAmazon ECSチームから発表しました。これによって、ECS上にカスタムスケジューラや他のツールを開発することができます。Bloxの目標は、カスタムスケジューラ、ダッシュボード、その他の拡張を作ることをシンプルにするためのツールを提供することで、皆さんの特定のユースケースの要件に合わせることができます。 ECSは先日、イベントストリームが利用可能になったこともアナウンスしており、これによってECSコンテナインスタンスとタスクの状態変化が[cloudwatch_events]に送られます。スケジュールワークフローを開発するお客様はしばしばECSクラスタで生成されたイベントを受け取り、この状態を手元に保存して、ローカルのクラスタの状態を使って操作を行います。Bloxにはこの機能とローカルのクラスタの状態をREST APIで提供するc
ECSでコンテナのrolling update - Carpe Diem
概要 ECS上のコンテナをダウンタイム０で更新（デプロイ）する方法をまとめます。 環境 ALB ECS container agent 1.13.0 Docker 1.11.2 Amazon ECS Container Agent Versions - Amazon EC2 Container Service ポイント minimumHealthyPercentとmaximumPercentを適切に設定する connection drainingを適切な長さにする この２つを意識していればOKです。 minimumHealthyPercentとmaximumPercentを適切に設定する desiredCount: 4、min: 0%、max: 100%の場合 この場合最低０つ(0%)まで縮小し、最高でも４つ(100%)までしか増えない状態で更新するということになります。 つまりダウンタイ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20180220 AWS Black Belt Online Seminar - Amazon Container Services
Amazon ECS トラブルシューティング - Amazon Elastic Container Service