Amazon ECS now allows you to run commands in a container running on Amazon EC2 or AWS Fargate
Amazon Elastic Container Service (Amazon ECS) introduces Amazon ECS Exec - a simple, secure, and auditable way for customers to run commands in a container running on Amazon Elastic Compute Cloud (Amazon EC2) instances or AWS Fargate. ECS Exec gives you interactive shell or single command access to a running container making it easier to debug issues, diagnose errors, collect one-off dumps and sta
Amazon ECSの新たなデプロイツールとなるAWS CopilotがGAに！ECS環境の構築が便利になるぞ！！ | DevelopersIO
Amazon ECSの新たなデプロイツールとなるAWS CopilotがGAに！ECS環境の構築が便利になるぞ！！ Amazon ECSの新たなデプロイツールとなるAWS CopilotがGAになりました！ 改めて、使い方やベータ版から追加された機能について試してみました。また、AWS Copilotによってもたらされる（かもしれない）未来について、自分なりに考えてみました。後半はほぼポエムです。 コンサル部のtobachi（@toda_kk）です。 2020年11月23日に、Amazon ECS CLIの後継となるデプロイツールとして、AWS CopilotがGAになりました！ 以前からベータ版として提供されていましたが、GAとなったことで、Amazon ECS環境のデプロイツールの1つとしてProduction利用においても検討可能になったのではないかと思います。 AWS Copilo
【レポート】コンテナだけどサーバーレス！ AWS Lambda の最新機能をご紹介 #AWSSummit | DevelopersIO
CX事業本部@大阪の岩田です。5月31日までアーカイブが視聴可能なAWS Summitですが、Developer Zoneという開発者向けの特設サイトが存在することをご存知でしょうか？公式サイトでは以下のように案内されています。 より多くの技術情報に触れたいとお考えの開発者の方向けに、エキスパートによるテクニカルトーク、ライブ解説付きのデモ、AWS Robot Delivery Challenge, AWS DeepRacer リーグなど、多彩なコンテンツを備えた特設サイト「Developer Zone」をご用意しました。 少しカジュアルな雰囲気の中、よりディープに AWS サービスを活用した開発のノウハウを知ることができます。テクニカルトーク、ライブ解説付きのデモでは、参加するお客様からのご質問にもその場でお答えしますので、ぜひご参加ください。 この記事はDeveloper Zoneのセ
はじめに TL; DR; 社内の普段はインフラ以外のところを主戦場にしている人向けに、AWS・GCPの権限に関する用語と概念を説明するために書いたものを加筆訂正して公開します AWS・GCPの権限管理は、基本的な概念は似ているが同じ英単語が別の意味でつかわれているのでややこしい 書いてあること 概念の説明と、関係を表す図 EKS・GKEからクラウドリソース *1 を使う時の考え方 書いてないこと 設定のためのコンソール画面のスクショや手順 Kubernetesからクラウドリソースを操作する方法は、以前のブログ「GitHub Actionsで実現する、APIキー不要でGitOps-likeなインフラCI/CD」でTerraformによるコードの例も紹介しているので、あわせて参考にしてみてください 想定読者 AWSはそこそこ使って慣れているけど、GCPにおける権限管理を理解したい人(またはその
EKSでDockerから卒業すべくBottlerocketのマネージド型ノードグループを使ってみた - inductor's blog
はじめに この記事ではAWSの公式ブログ「Amazon EKS adds native support for Bottlerocket in Managed Node Groups」で取り上げられている内容を、eksctlを使わずCloudFormationでimmutableに実現するための方法を解説します。 aws.amazon.com Bottlerocketとは Bottlerocketは、AWSが開発しているコンテナ実行専用OSです。Fedora/RHELのCoreOSやVMwareのPhoton OS、Rancher OSなどと似ていて、コンテナを実行するためのランタイム以外余計なパッケージが入らない軽量なOSとなっています。 aws.amazon.com Bottlerocketの開発状況についてはBottlerocket Roadmap · GitHubを合わせてみると良
これはエムスリー Advent Calendar 2023の9日目の記事です。 前日の記事はSREチーム後藤の「共有会をより効果的にするために考えたあれやこれ」でした。 エムスリーエンジニアリンググループ データ基盤チームの木田です。 師走です。12月といえば年末に向けて大掃除の季節です。 古来日本では12月に宮中で「煤払い」という行事を行う風習があったことが、今日年末の時期に大掃除をする由来とされているそうです。 私の自宅はまだ何も手をつけられていませんが、せめてBIツールの中だけでもということでRedashのクエリ棚卸しをした話*1をご紹介します。 エムスリーにおけるRedashの活用状況 長年の運用の結果起きた性能問題 問題の特定と発生原因 Workerの増設 クエリの棚卸しと改善 使われていない定期実行クエリの停止 サンプル1 直近参照なしかつ定期実行クエリ クエリの実行時間改善
はむはー！最近計算機には嬉しい気温になってきました。みなさん計算機はいかがお過ごしですか？ 先月 Kubernetes クラスタを部内サーバーに構築したので、その話をします。 きっかけ きっかけは部内 OpenStack クラスタが崩壊したことです。OpenStack かぁ〜立て直すのめんどくさいね〜、って話しているうちに何故か Kubernetes を立てる話が盛り上がり、Kubernetes クラスタを立てることになりました *1。 いろいろ検討 Kubernetes を立てると一言で言っても、 Node の立て方や使うコンポーネント、YAML の管理方法など決めなければいけないことは多岐に渡ります。 まずは要検討事項をまとめた Issue を作りました。 数々の要検討事項 大量です。ここから一つ一つ検討していきました。 Node の立て方 Node を立てる、すなわち kubelet
ECS Fargateでも無料で証跡管理したい
Cloud Native Runtime Security. Contribute to falcosecurity/falco development by creating an account on GitHub.
re:Invent2020で発表されたAWS Protonとはなにか？ - How elegant the tech world is...!
はじめに ご無沙汰しております。 最近は多忙でブログ書けていませんでしたが、今回は事例紹介やプラクティスのご紹介ではなく、re:Invent2020のAndy Jassy's Keynoteで発表されたAWS Protonというサービスについて、サービス概要や使い方、メリットなどをご紹介できればと思います。 最初サービス内容を聞いたとき、僕自身も「？？？」な状態だったので、同じように疑問をお持ちの読者の皆様へ理解の助けになればと思います。 注意事項 本ブログは2020-12-02時点の情報になります。 また記載時点ではAWS Protonはパブリックプレビュー状態であり、GA時に内容が変わる可能性がある点だけご留意いただければと思います。 AWS Protonとは？ 誤解を恐れずに言ってしまえば、コンテナやサーバーレスアプリケーションからなるサービス構成を「統一的に管理・運用」するためのサ
概要 AWSには、マネージドなコンテナプラットフォームとして、EKS(Elastic Kubernetes Service)とECS(Elastic Container Service)があります。 どちらもコンテナオーケストレーションを提供するサービスで、EKSはデファクトスタンダードであるKubernetesが、ECSはAWS独自仕様がそれぞれ使用されており、使用方法や学習コスト、運用やメンテナンスコストについて異なる点も多くあります。 本記事では、EKSとECSの特徴を比較し、それぞれの選択基準について解説します。 AWSのコンテナプラットフォーム AWSの主なコンテナプラットフォームには、EKS(Elastic Kubernetes Service)とECS(Elastic Container Service)があります。 以下に、EKSとECSの概要比較、およびコンテナイメージを
AWS Summit Tokyo 2019 I3-04「ロマサガRSの大規模トラフィックを捌くAmazon ECS & Docker運用の知見」レポート - ForgeVision Engineer Blog
こんにちは、クラウドインテグレーション事業部 山口です。AWS Summitも３日目となり寂しい感じですが、予定していたスピーカーセッションなども終わり、やっとセッションを聞けたのでレポートを書きます。 ロマサガ大好きで初代は３拠点制覇実績もあり、更に大好物のコンテナがテーマとなれば参加しない理由はありません、セッション会場へダッシュです。AWS Summitの事例セッションは動画公開されないことも多いので、テクニカルセッションよりも事例を優先的に聞く立ち回りも理由の１つですね。 ＜注意＞このセッションは録画＆配信されるようですので、詳細はAWS公式より公開される動画を参照ください。メモの共有ということでブログにします。撮影禁止なのでテキスト中心の内容となります。 第１章 ロマサガRS アーキテクチャ Elixirをベースに開発 強力な並列処理が魅力 ECSベースで稼働、インフラはClou
App Runnerの登場とAmplify ConsoleのSSR対応でVPCレスなAWSアーキテクチャを夢見た話
はじめに 新サービスの AWS App Runner が発表されました、そして AWS Amplify Console が Next.js(バージョン 9 の機能をサポート)を使っての Server Side Rendering と Static Site Generate に対応しました。 https://aws.amazon.com/jp/blogs/aws/app-runner-from-code-to-scalable-secure-web-apps/ https://aws.amazon.com/jp/blogs/mobile/host-a-next-js-ssr-app-with-real-time-data-on-aws-amplify/ この 2 つのサービスを使うことでフロントエンドもバックエンドも VPC レスでスケーラビリティのある AWS アーキテクチャが実現可能に
はじめに これは Kyash Advent Calendar 2021の12日目の記事です。 こんにちは。KyashでSREを担当する、福岡県在住の@hikarunです。 本日は、Kyashで稼働するマイクロサービスをAWS Fargateに移行した話を紹介させていただきます。 事前知識 AWS Fargateとは AWSが提供しているAWS Fargate*1は、コンテナ向けのサーバレスコンピューティングの機能です。 サーバ不要のためインフラリソース管理を効率化できる、非常に魅力的な環境です。 EC2をFargate化するメリット・デメリットについては既に多くの皆様が記事に書かれておりますので、私の方で特に強く思う事を抜粋して記載させて頂きます。 EC2をFargate化するメリット インスタンス自体の設定や脆弱性を気にしなくてよい EC2インスタンスでコンテナを稼働させることはもちろん
こんにちは・こんばんは・おはようございます、エンジニアのid:aerealです。 この記事では筆者が開発に参加しているサービスの監視フレームワークをOpenTelemetryへ移行した際の体験を紹介します。 OpenTelemetryとは OpenTelemetry is an Observability framework and toolkit designed to create and manage telemetry data such as traces, metrics, and logs. What is OpenTelemetry? サイトの説明にある通り分散トレースやメトリクス、ログなどの指標を扱う監視フレームワークです。 OpenTracingやOpenCensusなどを継承・統合したプロジェクトと言うと合点がいく方も多いのではないでしょうか。 OpenTelemet
GitHub Actions + CircleCI + AWS CodeDeployによるCI/CD環境にインフラを移行した話 - SMARTCAMP Engineer Blog
スマートキャンプ、エンジニアの入山です。 前回のブログで、弊社プロダクトのインフラをEC2基盤からECS/Fargate基盤へ移行した話を紹介しました。 tech.smartcamp.co.jp 上記プロジェクトは大規模なインフラの刷新だったこともあり、CI/CDについても従来の仕組みからECS/Fargateの構成に合わせて変更しています。 CI/CDは、安定したプロダクト開発には必須且つ長期に渡って継続的に利用するものなので、いかにストレス少なく効率的に出来るかが重要だと考えています。 また、CI/CDは一度構築してしまうと放置されがちですが、日々の開発チーム全体の生産性にも大きな影響を与えるため、こういった数少ない再構築のタイミングではコストを掛ける価値があるのではないでしょうか。 今回は、弊社のインフラ移行時に実施したCI/CDの改善について紹介したいと思います。 従来のCI/CD
AWS Githubからソースを取得し、ECS(Fargate or EC2)にデプロイするパイプラインを作成する②（デプロイまで） - Qiita
version: 0.2 phases: pre_build: commands: - echo Logging in to Amazon ECR... - echo $AWS_DEFAULT_REGION - $(aws ecr get-login --no-include-email --region $AWS_DEFAULT_REGION) build: commands: - echo Build started on `date` - echo Building the Docker image... - docker build --no-cache -t $IMAGE_REPO_NAME:$IMAGE_TAG . - docker tag $IMAGE_REPO_NAME:$IMAGE_TAG $AWS_ACCOUNT_ID.dkr.ecr.$AWS_DEFAULT_REGI
CTO室SREの @kenzo0107 です。 2021年6月24日に「 kakari for Clinic ホームページ制作 」がリリースされました。 kakari for Clinic ホームページ制作 今回は上記サービスで採用した、 AWS + ngx_mruby で構築した SSL 証明書の動的読み込みシステムについてです。 SSL 証明書を動的に読み込みする理由 kakari for Clinic ホームページ制作の1機能で、制作したホームページに独自ドメインを設定する機能がある為です。*1 複数ドメインでアクセスできる ＝複数ドメインの SSL 証明書を読み込む を実現する必要があります。 動的に SSL 証明書を読み込むには？ 以下いずれかのモジュールを組み込むことで SSL 証明書の動的読み込みが可能になります。 ngx_mruby lua-nginx-module 以下理
Gatlingによる分散負荷試験を自動化するKubernetesオペレーターGatling Operatorの紹介 - ZOZO TECH BLOG
こんにちは。SRE部の川崎（@yokawasa）、巣立（@tmrekk_）です。私たちは、ZOZOTOWNのサイト信頼性を高めるべく日々さまざまな施策に取り組んでおり、その中の1つに負荷試験やその効率化・自動化があります。本記事では、私たちが負荷試験で抱えていた課題解決のために開発、公開したOSSツール、Gatling Operatorを紹介します。 github.com はじめに ZOZOTOWNは非常にピーク性のあるECシステムであることから、常にそのシステムが受けうる負荷の最大値を意識しております。想定しうる最大規模の負荷を受けてもユーザー体験を損なうことなくサービス継続できることをプロダクションリリースの必須条件としています。したがって、新規リリースやアップデート、大規模セールなどのシステム負荷に影響を与えうるイベント前など、比較的頻繁に負荷試験を実施しています。そして、社内でもっ
こんにちは。青山（amsy810）です。 Kubernetesには複数のクラスタを扱うための技術がいくつかあります。 今回は幾つかのパターンに分けて紹介していきたいと思います。 また、将来的にこうなったら面白いかもという話をするために、すぐにプロダクション利用できない話やWebサービスでは使わないような話も含まれています。 【目次】 複数クラスタを利用する理由 複数クラスタを管理するパターン GitOpsで複数クラスタを管理するパターン 複数のKubernetesクラスタをFederateするパターン Virtual kubeletパターン マルチクラスタ時のロードバランサの扱い LoadBalancer の機能を利用して分散する DNS を利用して分散する Multi Cluster にまたがる Service Mesh を利用して転送する マルチクラスタでPod Networkを繋ぐ
AWSの新価格モデル Savings Plans とは？オンデマンドやリザーブドインスタンスと比較する - Qiita
AWSの新価格モデル Savings Plans とは？オンデマンドやリザーブドインスタンスと比較するAWSEC2lambdaFargateCostExplorer 2019/11/7に、AWSからSavings Plansという新しいAWS利用料節約のための価格モデルが登場しました。 このSavings Plansについて調べてみました。 更新履歴 2019/11/07: 初版。EC2とFargate (for ECS) が割引対象に。 2020/02/21: 更新。新たにLambdaが割引対象に追加。 2020/04/06: 更新。Organizationsのメンバーアカウントから推奨事項が確認可能に。 2020/05/10: 更新。価格改定により、EC2 Instance Savings Plansの一部のEC2インスタンスタイプで、従前に比べて最大18%の値下げ。 2020/08/
ECS×Fargate ターゲット追跡ServiceAutoScallingを使ったスパイク対策と費用削減 - コネヒト開発者ブログ
こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、ターゲット追跡ServiceAutoScallingを使い、ECS×fargateで運用しているサービスのスパイク対策と費用削減に取り組んだのでその内容をまとめています。 内容はざっくり下記4項目について書いています。 抱えていた課題 キャパシティプランニングに対する考え方 ECS ターゲット追跡ServiceAutoScallingとは何か? どんな結果になったか? 抱えていた課題 コネヒトでのWebのアーキテクチャはほとんどがECS×Fargateの基盤で動かしています。 ECSのバックエンドをEC2からFargateに移行したタイミングで、大きく下記2点のメリットは享受していました。 EC2を意識しないことでの運用コスト削減 オートスケールの容易さ ですが、サービス運用にあたりまだ下記のような課題がありました。 ①
【週刊 Ask An Expert #17】AWS で Docker を使うときの選択肢は？先週の #AWSLoft で受けた質問10選 | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #17】AWS で Docker を使うときの選択肢は？先週の #AWSLoft で受けた質問10選 こんにちは、スタートアップ ソリューションアーキテクトの塚田 (Twitter: @akitsukada) です。好きな Chalice の機能は Built-in Authorizer です。 まず最初に、今回の週刊 Ask An Expert では Docker コンテナに関する質問が多く、皆さんの関心が伺える週となりました。そんなみなさんにイチオシのイベント情報は AWS Containers talk with Mercari です！↓ メルカリさんにおける AWS のコンテナサービス活用事例が気になる方は、ぜひ ↑ から申し込んでください！ さて、ではここから週刊 Ask An Expert 第 17 回目をお届
Amazon Web Services ブログ コンテナとコンテナ化されたアプリケーションに対する運用上の洞察 コンテナ化されたアプリケーションとマイクロサービスの適応が増えるに従い、監視と管理の負担がますます増えます。ビルダには Amazon Elastic Compute Cloud (EC2) のインスタンスなどのより長期にわたるインフラすトラクタに使用されるため、同じレベルの監視が期待され、要求されています。対照的に、コンテナは比較的短命で、通常は継続的なデプロイが求められます。これにより、信頼性をもって監視データを収集し、パフォーマンスやその他の問題を分析することが困難になり、このことが修復時間に影響を与えます。さらに、ビルダはさまざまなツールを使用してこの分析と検査を実行し、一連のインフラストラクチャとアプリケーションのメトリック、ログ、およびその他のトレース全体でコンテキスト
本エントリは2021年8月30日に開催されたNode学園 37時限目 オンラインにて、「Vue 2で大きなデータを扱うときの性能改善手法」というタイトルで発表させていただいた内容をテックブログ記事化したものです。発表当日の様子はYouTubeにアーカイブで公開されておりますので、そちらも合わせてご覧いただけましたら幸いです。 はじめにストックマークでは、法人ユーザー向けに「Astrategy」というウェブサービスを開発・提供しています。Astartegyの詳細や技術的な全体構成についてはAstrategyを支える技術: gRPC, Elasticsearch, Cloud TPU, Fargate… SaaS型AIサービスの内側の世界というエントリで紹介しておりますのでそちらを参照いただくとして、本エントリではAstrategyのフロントエンドを構築する上で重要である性能改善手法について紹
手法 いくつかあると思うが、今回の選択肢としては次が挙がった Public SubnetにEC2を構築し、そのEC2を経由してPrivate RDS（など）にアクセスする手法と、 ECS Fargate × SSMで構築し、ECSに対してSSM接続することでProxyとする手法。 Pros and Cons EC2 Pros（長所） 馴染みのEC2なので何かと情報が出回っており、直感で操作できる 構築難易度がECSに比べ低い。 Cons（短所） EC2 Fargateパターンに比べ、イケイケ感の低さや運用コスト（後述）の違いがある 運用担当者がEC2内にSSHユーザーの設定をユーザー毎に行わなくてはいけない sshのkey pairをどう管理するのか問題が控えている ECS(Fargate) Pros（長所） まず、イケている。 運用担当者はSSHユーザーの作成不要で、IAMユーザーさえ作
FargateでService,RunTask,Cronを運用する/fargate-service-runtask-cron-operation-tips
履歴 期間限定で公開されている前夜祭(Day0)の動画リンクを追加しました AWS上に構築したマイクロサービスに対する効率的な性能・負荷テストの実行方法 のスライドを追加しました どんな低スペックPCが割り振られても泣かないで！開発環境をCloudへ移行した話 のスライドを追加しました Amazon Neptuneとサーバーレスから始まった高速バス予約システム開発 のスライドを追加しました CloudbaseでのAWS CDKとStepFunctionsを用いたバッチ処理基盤の爆速構築 のスライドを追加しました Day 0 開発者を魅了するオープンソースソフトウェアSupabaseとは Youtube動画リンク [レポート]OSSエンジニアのBetter than Nothingという生き方 〜 全力で5％を目指せ！ #AWSDevDay | DevelopersIO Youtube動画リ
GitHub Actions と AWS CodeBuild テストを使用して Amazon ECS の CI/CD パイプラインを作成する | Amazon Web Services
Amazon Web Services ブログ GitHub Actions と AWS CodeBuild テストを使用して Amazon ECS の CI/CD パイプラインを作成する Amazon Elastic Container Service (Amazon ECS) は、フルマネージド型のコンテナオーケストレーションサービスであり、コンテナ化されたワークロードを大規模かつ簡単に運用できます。 また、Amazon Route 53、AWS Identity and Access Management (IAM)、Amazon CloudWatch などの他の主要な AWS のサービスと統合します。 コンテナの管理に使用しているプラットフォームに関係なく、コンテナ化されたアプリケーションにとって効果的かつ効率的な CI/CD パイプラインを確立することは重要です。 この投
ほぼ独学・未経験者がモダンな技術でポートフォリオを作ってみた【Rails / Nuxt.js / Docker / AWS / Terraform / CircleCI】 - Qiita
ほぼ独学・未経験者がモダンな技術でポートフォリオを作ってみた【Rails / Nuxt.js / Docker / AWS / Terraform / CircleCI】RailsAWSCircleCITerraformNuxt はじめに こんにちは! akiと申します！ 当記事はほぼ独学・未経験者がモダンな技術でポートフォリオ（以下PF）を作ってみたので、ご紹介させて頂きたいと思います。 昨今、未経験者がモダンな技術を使用して作成した、PFの作成記事も多く存在するので、何番煎じかにはなってしまいますが、この記事も同じ初学者の方の参考になれば幸いです。 自己紹介 私は22歳・高卒で、現在(2021年3月時点）も工場で製造の仕事を続けております。 そんな私ですが「Webエンジニア」という職種に興味を持ち、2020年4月よりプログラミング学習を開始しました。 今回紹介するPFの作成期間は約3ヶ
AWS Fargateを触ってみたい、でも時間が...というあなたに冬休み中にできる3時間程度のハンズオンを 概要 AWS CI/CD for Amazon ECS ハンズオンをやってみました。 ハンズオンは下記の3本立てです。3時間程度で終わりました。 サンプルアプリのコンテナイメージ作成 AWS Fargate環境構築とコンテナ実行 CI/CDのパイプライン作成 ハンズオンを進めながら個人的なメモを補足した内容です。実際のハンズオン資料を見ながら作業をすすめ補足資料になればよいなと思っています。 CodeBuild時にDocker Hubのレートリミットに引っかかるとつまづくと思うのでそこの回避方法を載せています。 まず、AWS Fargateとは ハンズオン1 Fargateでコンテナを実行するまでの前準備する内容です。 ハンズオン資料より VPC、ALB作成 ハンズオンの手順ではV
ここ１ヶ月半くらい、ちょっとした独自システムを創っていたのですが、そこで編み出したテクニックを紹介してみます。 要はECS Execを使い込んだよってだけなんですが、こういうオモチャを使ったオモチャを作らせたら一級品の自負、ある。 ECS Exec の概要 基本的なところは他に任せたいのでリンクだけ貼っておきます。 New – Amazon ECS Exec による AWS Fargate, Amazon EC2 上のコンテナへのアクセス | Amazon Web Services ブログ [アップデート] 実行中のコンテナに乗り込んでコマンドを実行できる「ECS Exec」が公開されました | DevelopersIO デバッグに Amazon ECS Exec を使用する – Amazon ECS 外からコマンドを実行できる旨味 ECSっていっても自分の中では Fargate の話にな
はじめに この記事ではECS(Fargate)のCDパイプラインに、DBマイグレーション処理を組み込む一例を解説します。 ECS(Fargate)へのデプロイは、ecspressoを使用します。 また、題材はLaravel、CIツールとしてはGitHub Actionsを使いますが、他のフレームワークや、CIツールでも考え方は応用できるかと思います。 目次 はじめに 目次 前提 DBマイグレーションを含む一連のデプロイの流れ DBマイグレーションの前に行うこと ワークフロー例 --watch-containerオプション --overridesオプション GitHub Actions実行結果(抜粋) 前提 本記事で取り扱うECSタスクでは、以下2つのコンテナが起動します。 nginxコンテナ。ベースイメージはnginx:1.20-alpine。 phpコンテナ(Laravelが稼働するコン
面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 | Amazon Web Services
Amazon Web Services ブログ 面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 開発者がアプリケーションを開発・パッケージング・デプロイするための強力な手法として、コンテナ技術はその代表的な1つに挙げられます。そしてそのようなコンテナ技術における様々なユースケースをサポートすべく、AWS では Amazon Elastic Container Service (Amazon ECS) に代表される多様なサービスを提供しています。 Amazon ECS はコンテナの運用管理を容易にするマネージドサービスです。他の AWS サービスとの組み合わせにより多様なワークロードをサポートするシステムを素早く構築可能です。一例として、 AWS Secrets Manager を利用した秘匿情報の連携が挙げられます。これにより、IDやパ
SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（前編） - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回はタイトルにもあるようにモデルの学習からデプロイまで一気通貫した機械学習パイプラインをSageMakerとStep Functionsで構築し，新しく検閲システムを開発したお話になります． こちらのエントリーで紹介されている機械学習を用いた検閲システムの技術的な内容になります． ※ 検閲システムの細かい要件や内容については本エントリーでは多くは触れないのでご了承下さい． tech.connehito.com はじめに 今回のエントリーは内容が盛り沢山になっているので，前編と後編の2つに分けて紹介することにします． 前編：SageMaker TrainingJobを用いたモデル学習を行い，SageMaker Experimentsに蓄積された実験結果をS3に保存するまでの話 前回紹介したテックブログ「SageMak
Announcing AWS Graviton2 Support for AWS Fargate – Get up to 40% Better Price-Performance for Your Serverless Containers | Amazon Web Services
AWS News Blog Announcing AWS Graviton2 Support for AWS Fargate – Get up to 40% Better Price-Performance for Your Serverless Containers AWS Graviton2 processors are custom-built by AWS using 64-bit Arm Neoverse cores to deliver the best price-performance for your cloud workloads running in Amazon Elastic Compute Cloud (Amazon EC2). They provide up to 40 percent better price-performance over compara
NestJS を使って最速リリースを目指している話 - ROBOT PAYMENT TECH-BLOG
こんにちは。ROBOT PAYMENTでエンジニアをやっております 牧野です。 今回は新規プロダクトの立ち上げに伴い開発言語からインフラ設計まで0→1でサービスリリースするのに必要な技術選定を行いました。 その際の選定理由や、実際に開発を進めていて得た所感などを書いてみたいと思います。 私は主にバックエンド（フロントエンド以外）を中心に技術選定を行っためそちらを中心に書かせていただきます。 チーム規模 選定技術 TypeScript NestJS GraphQL PostgreSQL AWS App Runner まとめ チーム規模 バックエンドエンジニア2人 フロントエンドエンジニア1人 PM 1人 デザイナー1人 上記を１チームとして最短距離でリリースすべくスクラム開発を行なっています。 既存の請求管理ロボ開発においては、厳密ではないですがコンテナ運用や監視ツール、CICDなど機能開発
【後編】「やるべきことをちゃんとやる」- Amazon ECS と Spot インスタンスを使いこなす Repro 株式会社 CTO 橋立さん に、開発体制や Repro ならではのシステム要求、AWS の活用方法をお伺いしました | Amazon Web Services
AWS Startup ブログ 【後編】「やるべきことをちゃんとやる」- Amazon ECS と Spot インスタンスを使いこなす Repro 株式会社 CTO 橋立さん に、開発体制や Repro ならではのシステム要求、AWS の活用方法をお伺いしました みなさんこんにちは、Startup Solutions Architect の塚田（@akitsukada）です。 前編に続き、Repro 株式会社の CTO、ジョーカーさんこと橋立友宏さん（@joker1007）にお聞きした話の後編をお届けします。後編では、急激なスパイクアクセスにいかに対応しているか、いかに高速に柔軟なセグメント抽出を可能にしているかなど Repro ならではの技術要件と、Docker コンテナのオーケストレーションや Serverless などの技術に関して橋立さんはどう見ているかなどの技術論、そして今後の展
「AmplifyとAppSyncでモダンでイケてるWebサービスを爆速で立ち上げようぜ 」を話しました #devio2020 | DevelopersIO
こんにちは、もこ@札幌オフィスです。 6月16日より、クラスメソッドの年次技術イベント「Developers.IO 2020 CONNECT」を開催しています。期間は2020年6月16日（火）から7月7日（火）、テーマごとに7日間の日程に分けて開催、セッションはなんと合計100本以上あります。 私は、6月23日（火）のライブセッションの3本目を担当しました。登壇の内容についてはこちらをご覧ください。 登壇動画 ライブセッションだけでなく多数の技術について動画を公開しています。下記のYouTubeチャンネルの登録もお願いします。 登壇資料 Q&A Q1. Amplifyを使うことでインフラ側がブラックボックスになってしまい、セキュリティ上の不安や仕様考慮漏れによる不具合が怖いのですが、どうすればそういった不安を拭えますか？ 確かに脆弱性や不具合がある可能性は無きにしも非ずですが、自前で全てを
こんにちは、インフラ部の id:sue445 です。 今回はRendertronをGKEとCloud Runの両方で構築した話をしたいと思います。 tl;dr; 前置き 今までのRendertronの問題点 GKE版Rendertronについて GKEの採用理由について GKE版Rendertronの構成 全体 GKE内部 pod内部 Kubernetesの設定と解説 rendertron-deployment.yaml rendertron-hpa.yaml rendertron-ingress.yaml rendertron-service.yaml Tips nodeのストレージサイズをケチり過ぎたらpodが起動できなくなった N1マシンタイプのnodeとN2マシンタイプのnodeを比較した結果、N2マシンタイプが安くなった Cloud Run版Rendertronについて Clou
SREチーム(新卒)の市川恭佑です。今回は、Tonamelという自社サービス(Web)において負荷試験を導入した事例を紹介します。 このエントリは「先送りされがちな負荷試験の導入について心理的なハードルを下げる」ことを目的としています。 そのため、事例紹介と銘打っていますが、列挙される事実の独立性よりも文脈性を優先しています。 表現が少し冗長に感じるかもしれませんが、負荷試験について距離感を感じている方は是非お付き合いください。 負荷試験を導入するに至った経緯 Tonamelは、本格的なリリースから5年以上という、比較的長い運用歴を持つサービスです。 まず、何故このタイミングで負荷試験を導入することになったのかについて、その経緯を説明します。 ポストモーテムによる気づき（文化的な土台） 今年の3月に公開されたエントリにもあるように、カヤックでは着実にポストモーテム文化が浸透しつつあります。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS・GCPとKubernetesの権限まわりの用語を具体例から理解する - JX通信社エンジニアブログ
年末だしRedashのクエリ棚卸しでもしましょう (調査用サンプルクエリ付き) - エムスリーテックブログ
部内サーバーに Kubernetes クラスタを立てました - KMC活動ブログ
AWS EKSとECSの比較と選択基準
EC2稼働マイクロサービスをECS on Fargateに移行した - Kyash Product Blog
実践OpenTelemetry - Classi開発者ブログ
AWS + ngx_mruby で SSL 証明書の動的読み込みシステム構築 - メドピア開発者ブログ
Kubernetesにおけるマルチクラスタ関連手法の分類 - @amsy810's Blog
コンテナとコンテナ化されたアプリケーションに対する運用上の洞察 | Amazon Web Services
Vue 2で大きなデータを扱うときの性能改善手法
AWSのPrivateリソースに対してProxyを立ててアクセスするときに考えること
成長をサポートするピープルマネジメントのやり方
AWS Dev Day 2022 Japan スライドまとめ - Qiita
AWS CI/CD for Amazon ECS ハンズオンをやってみた | DevelopersIO
AWS ECS Exec を使ってみたTips | 外道父の匠
ECS(Fargate)でDBマイグレーションを行う - やんばるテック
RendertronをGKEとCloud Runで構築しました - pixiv inside
運用中のサービスに負荷試験を導入した事例の紹介 - KAYAC engineers' blog