ワークフロー実行基盤をFargateからEC2へ変更したらコストもパフォーマンスも改善できて幸せになった話 - ZOZO TECH BLOG
はじめに こんにちは、ブランドソリューション開発本部バックエンド部SREブロックの小林（@mirai_kobaaaaaa）です。普段はWEARやFAANSというサービスのSREとして開発、運用に携わっています。 WEARではAmazon Elastic Kubernetes Service（以下、EKSと呼ぶ）を用いて複数システムのインフラ基盤を構築・運用しています。その中の1つとして、ワークフロー処理の実行基盤が存在しています。 本記事では、そのワークフロー実行基盤が抱えていた課題と、それらをどのように解決したのかを紹介します。また、付随して得られたメリットについても紹介いたします。 目次 はじめに 目次 WEARにおけるワークフロー ワークフロー処理内容 ワークフロー実行基盤の構成 ワークフロー実行基盤の課題 コスト内訳の調査 過剰なPodスペック Fargate実行時間の増大 ワーク
要注意！？本当に怖いCloudFront - Qiita
はじめに 先日、海外向けに運用していた個人ブログがDDoS攻撃を受けてしまいました。 こういったサイバー攻撃は、企業に対して行われるものという先入観がありました。 しかし、調べてみると、最近では個人ブログも標的になってきていると報告があがっていました。 CloudFrontとS3で作成する静的サイトが人気になっており、特にCloudFrontの危険性について紹介したいと思います。 DDoS攻撃って？ ざっくり説明すると、ウェブサイトやサーバーに対して過剰なアクセスやデータを送付するサイバー攻撃です。 インフラストラクチャーレイヤー攻撃(レイヤー3、4)とアプリケーションレイヤー攻撃(レイヤー6、7)の２つに分類されます。 ご指摘を頂きましたので、訂正いたします。 厳密には、EDoS攻撃でした。 AWS Shield Standard AWSを利用した場合、defaultでAWS Shiel
Amazon Aurora MySQL 3 with MySQL 8.0 compatibility is now generally available | Amazon Web Services
AWS Database Blog Amazon Aurora MySQL 3 with MySQL 8.0 compatibility is now generally available Amazon Aurora is a MySQL and PostgreSQL-compatible relational database built for the cloud. Aurora combines the performance and availability of traditional enterprise databases with the simplicity and cost-effectiveness of open-source databases. Amazon Aurora MySQL is compatible with MySQL 5.6 and MySQL
Announcing AWS Fargate for Amazon ECS Powered by AWS Graviton2 Processors
AWS Fargate for Amazon Elastic Container Service (Amazon ECS) powered by AWS Graviton2 Processors, is now generally available. AWS Graviton2 processors are custom built by Amazon Web Services using 64-bit Arm Neoverse cores and Graviton2-powered Fargate delivers up to 40% improved price/performance at 20% lower cost over comparable Intel x86-based Fargate for a variety of workloads such as applica
Amazon ECS on AWS Fargate を利用したコンテナイメージのビルド | Amazon Web Services
Amazon Web Services ブログ Amazon ECS on AWS Fargate を利用したコンテナイメージのビルド この記事は Building container images on Amazon ECS on AWS Fargate を翻訳したものです。 コンテナイメージのビルドのプロセスは、アプリケーションのコード、ライブラリ、および依存関係を再利用可能なファイルシステムにパッケージ化することです。開発者は自分たちのコードと一緒に、コンテナイメージを組み立てるためのすべてのコマンドを含む Dockerfile を作成します。この Dockerfile は、Docker Engine に組み込まれているようなコンテナイメージのビルドツールを利用して、コンテナイメージを作成するために使用されます。ビルドされたコンテナイメージは、Amazon ECS や EKS のよう
Deep Dive on Amazon ECS Cluster Auto Scaling | Amazon Web Services
Containers Deep Dive on Amazon ECS Cluster Auto Scaling Introduction Up until recently, ensuring that the number of EC2 instances in your ECS cluster would scale as needed to accommodate your tasks and services could be challenging. ECS clusters could not always scale out when needed, and scaling in could impact availability unless handled carefully. Sometimes, customers would resort to custom to
AWS ECS Fargate のCPU性能と特徴 | 外道父の匠
ちょいとした用途において、カジュアルにFargateの起動／停止を繰り返して、気ままに負荷全開かけていたら、あまりの違和感にCPU割り当てについて調査することにしました。 最近こんなことばっかやってる気がしますが、気に食わんかったからムカムカ解消に書くしかないんや。半分くらいブラックボックス与太話な感じで夜露死苦です。 はじまり とある処理を全開でFargateにやらせて、cpu=1024(100%), 2048(200%), 4096(400%) でどのくらい RPS (requests per second) でるかを計測していると、想定通りならほぼ比例でRPSが伸びるはずが、全然そうならないパティーンに遭遇。 並列過剰やエラー・バグ起因ではないことをほぼ確させた上で、まさかCPUガチャじゃあるまいなと試したら、まんまCPUガチャでしたということで、EC2からある話ではありますが、現在
AWSが生まれたのは、Amazonが経費削減のためにSunのサーバからHP/Linuxサーバへ切り替えたことがきっかけ。当時の社員が振り返る
AWSが生まれたのは、Amazonが経費削減のためにSunのサーバからHP/Linuxサーバへ切り替えたことがきっかけ。当時の社員が振り返る 1990年代後半に、米Yahoo!などに代表されるインターネット系企業の株が高騰したインターネットバブルが発生しました。 そのバブルが2000年前後にはじけると、ユーザー数の拡大を背景に資金調達をしてきた企業の多くが投資家からの資金を得られなくなり、行き詰まり始めます。 Amazon.comもそうした状況のなかで先行きを不安視された企業の1つでした。2001年4月の週刊東洋経済の記事には、最高値の10分の1程度にまで下がった株価のグラフとともに、「莫大な酸素（キャッシュ）を燃やし続けている」「2000年12月末時点で2000億円を超える債務超過だ」と記されています。 当時Amazon.comのデジタルメディア部門ディレクターであったDan Rose氏
Introducing new features for the aws-sdk-rails gem | Amazon Web Services
AWS Developer Tools Blog Introducing new features for the aws-sdk-rails gem The Ruby SDK team is happy to announce that we’ve added new features and consolidated existing gems into the aws-sdk-rails gem to make developing Rails applications using AWS easier than ever. Features supported Amazon Simple Queue Service (SQS) queue adapter for ActiveJob (new) ActiveSupport::Notification instrumentation
Amazon Aurora PostgreSQL Integrates with AWS Lambda
Amazon Aurora with PostgreSQL compatibility can now make calls to AWS Lambda functions. AWS Lambda lets you run code without provisioning or managing servers, and without worrying about scalability. You can invoke Lambda functions directly from within an Aurora database via stored procedures or user-defined functions. This allows you to extend the capabilities of the database and invoke external a
爆速？！コンテナイメージからデプロイしたLambdaのコールドスタートについて検証してみた #reinvent | DevelopersIO
CX事業本部＠大阪の岩田です。 この記事はAWS LambdaとServerless Advent Calendar 2020の6日目 です。 先日のブログでご紹介したように、Lambdaのパッケージフォーマットとしてコンテナイメージがサポートされるようになりました。 従来のZIP形式と比較したメリットの１つとして、イメージサイズの上限が10Gまで許容されるという点があります。ZIP形式の上限はレイヤーと関数コードを合わせて250Mであり、サイズの大きなライブラリや機械学習モデルを利用する場合、この上限に抵触することもあったのではないでしょうか？パッケージフォーマットとしてコンテナイメージを選択することで、こういったユースケースにも対応できるようになりました。 ここで1つ疑問が浮かびます。イメージサイズの上限が10GBとのことですが、10GBの巨大イメージからLambdaがコールドスタート
CDKでAWS Lambdaのパッケージフォーマットにコンテナイメージを指定してデプロイしてみた | DevelopersIO
はじめに 先日のre:Invent 2020にて、Lambdaのパッケージフォーマットとして、従来のZIP形式に加えてコンテナイメージがサポートされました。詳しくは下記を参照してください。 【速報】Lambdaのパッケージフォーマットとしてコンテナイメージがサポートされるようになりました！！ #reinvent CDKでLambdaのパッケージフォーマットにコンテナイメージの定義ができると実践投入や構成を考えやすなーと思っていたところ、CDKのv1.76.0で定義できるようになっていたため、今回はそちらを試します。 以下注意点です。ご了承お願いします。 本記事は、CDK v1.76.0ベースで記載した記事となります。CDKのバージョンが上がった場合には、記事通りやっても動かない可能性があります 作成する関数は、Node12系です。別言語で作成したい方は、一部しか参考になりません 構成 概要
Amazon EC2 を Arm に切り替えたら幸せなことしかありませんでした | CyberAgent Developers Blog
技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です👳 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 はじめに Apple M1 で Arm という単語をよく耳にし、そしてその性能に驚いた方も多いと思います。Apple M1 が搭載された Mac のベンチマークはこちら そして Amazon EC2（以下：EC2）にも Arm が搭載されたインスタンスがあります。 https://aws.amazon.com/jp/ec2/graviton/ 今回はとあるサービスの全開発環境の EC2 インスタンスを m5.large から t4g.medium へ移行したら幸せになれたので、この記事を
New – Amazon RDS on Graviton2 Processors | Amazon Web Services
AWS News Blog New – Amazon RDS on Graviton2 Processors I recently wrote a post to announce the availability of M6g, R6g and C6g families of instances on Amazon Elastic Compute Cloud (Amazon EC2). These instances offer better cost-performance ratio than their x86 counterparts. They are based on AWS-designed AWS Graviton2 processors, utilizing 64-bit Arm Neoverse N1 cores. Starting today, you can al
AWS Copilotとecspressoの違いを調べてみた - Qiita
結論 下記「背景」のようなケースの場合は、ecspressoまたは類似ツールを使ったほうが事故は少ない コンテナやAWSやっていき勢、PoCなど速度が必要なケースはAWS Copilotを使ってみて慣れていくのはアリ というより、双方のツールは目指すところが全然違うので比較対象として論じること自体にちょっと無理がある 前提 本稿で記載している「ECS」は「ECS on Fargate」であり、「ECS on EC2」ではありません。 双方のツールを軽く触れて書いた記事なので、細かい機能について把握していないものもあると思います。 背景 これまでいくつかのAWSを使用したプロジェクトのインフラ管理にTerraformをオールインワンツールとして採用してきました。 しかし、システムの規模が大きくなるにつれてTerraformではどうしても取り回しの鈍さが出てくるケースが増えてきたため、アプリケ
最大同時接続数を1に制限したRDSにRDS Proxyを構成して基本動作を押さえよう | DevelopersIO
CX事業本部＠大阪の岩田です。 社内で需要がありそうだったので、RDS Proxyの基本動作について簡単にまとめてみました。クライアントからの最大同時接続数を1に設定したRDSに対してRDS Proxyを構成し、クライアントアプリケーションに見立てたEC2からいくつかのパターンで接続を試行した結果をまとめています。 環境 今回検証に利用した環境です。 RDS for PostgreSQL 11.8-R1 インスタンスクラス db.t3.micro max_connections: 9 バックグラウンドでrdsadminユーザー、rdsproxyadminユーザーがDBに接続するのを考慮して9に設定しています。今回の環境であればmax_connectionsを9に設定することで非マスターユーザーからの同時接続数を1に制限することができます。 RDS Proxy エンジンの互換性: Postg
ECR がマルチアーキテクチャイメージのマニフェストリストのサポートを開始
Amazon Elastic Container Registry (ECR) は、マニフェストリストのサポートを開始しました。これにより、AWS Graviton ARM インスタンスを既存のクラスターに追加するなど、コンテナアプリケーションで使用できるさまざまな CPU アーキテクチャとオペレーティングシステムの選択肢が増えました。マニフェストリストを使用すると、x86 や ARM などのさまざまなハードウェアアーキテクチャのイメージバリアントや、Linux や Windows などのオペレーティングシステムを ECR の単一のコンテナイメージとして保存できます。Docker のようなクライアントは、コンテナを起動するときに、各アーキテクチャとオペレーティングシステムに適したイメージバリアントを自動的にプルできます。これは、CI/CD スクリプト全体にアーキテクチャごとのイメージ参照を
AWSがソフトウェアパッケージのリポジトリサービス「AWS CodeArtifact」正式リリース。npmやMavenなどのパッケージを共有可能
Amazon Web Services（AWS）は、ソフトウェアパッケージなどのリポジトリをマネージドサービスとして提供する「AWS CodeArtifact」の正式リリースを発表しました。 アーティファクト（Artifact）とはここ数年、ソフトウェアの分野でよく目にするようになった言葉の1つでしょう。一般的には「人工物」や「工芸品」という意味ですが、ソフトウェアの分野ではなんらかの生成物、例えばソースコードのコンパイルやビルドによって生成されたバイナリやパッケージなどのことを指して「アーティファクト」と呼びます。 そして、ソースコードがGitHubのようなソースコードリポジトリに格納されることで、バージョン管理や共有などが行われるように、さまざまなアーティファクトもリポジトリに格納されて管理共有されるようになってきています。 例えばJavaScriptのパッケージマネージャnpmに対応
AWS Simple Monthly Calculator がついに勇退するようです！ | DevelopersIO
2020/05/26 時点で、サポート終了日に関して変更がありましたので、更新いたします。 とはいえ 2020/6/30 以降の明確な日程は記載されていないため、引き続き AWS Pricing Calculator への移行を進めることをお薦めします。 園部です。 出オチ・タイトルオチ 失礼します！ AWS Simple Monthly Calculator（SMC） は、AWS をご利用の皆さんであれば、一度は利用または見たことがあるのではないでしょうか？ そんな SMC ですが AWS Pricing Calculator が登場したことで、いつの日か訪れるであろうと思われていた引退の日が、ついにやってくるようです。。今までありがとう！！ 現在 SMC にアクセスする以下のメッセージが表示されます。そのまま利用する場合は 簡易見積もりツールを続行 を選択することで利用可能です。 （2
カスタムログルーティング - Amazon ECS
FireLens for Amazon ECS では、タスク定義パラメータを使用してログを AWS サービスや AWS Partner Network (APN) の宛先にルーティングし、ログを保存および分析できます。AWS Partner Network は、プログラム、専門知識、リソースを活用して顧客向けサービスの構築、マーケティング、販売を行うパートナーのグローバルコミュニティです。詳細については、「AWS Partner」を参照してください。FireLens は Fluentd および Fluent Bit と連携しています。Fluent Bit イメージ用に AWS を提供していますが、Fluentd や Fluent Bit のイメージはご用意いただいたものを使用することもできます。 FireLens 設定を使用した Amazon ECS タスク定義の作成は、AWS SDK、A
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
