STORES決済におけるEC2からECS Fargateへの移行〜無停止要件も添えて〜
AWS Startup Tech Meetup Online #11 https://aws-startup-community.connpass.com/event/237573/ の登壇資料です。
AWS Startup Tech Meetup Online #11 https://aws-startup-community.connpass.com/event/237573/ の登壇資料です。
AWS CDKにLambda関数を数秒でデプロイするhotswap deployments機能が追加されました
はじめに おはようございます、加藤です。AWS CDKのv1.122.0からhotswap deploymentsという機能が追加されました。 通常cdk deployを実行するとCloudFormationをデプロイしますが、このオプションがONの場合はそうせずにSDKでLambda関数をデプロイします。これによってCloudFormationを実行する時間が発生しないため素早くデプロイを行うことができます。 当然この方法によるデプロイを行うとCloudFormationが管理する状態とドリフトが発生してしまいます。この機能は開発環境で素早くデプロイして動作を確認する為のものであり、本番環境では使用してはいけません。(ドキュメントにも明記されています) hotswap deploymentsは実験的な実装であり今後破壊的な変更が入る可能性があります。 v1.122.0時点でのDocs:
こんにちは。BASE BANK株式会社 Dev Division にて、 Software Developer をしている永野（@glassmonekey）です。 弊社ではAWS Lambdaを活用する機会が増えまして、 最近メジャーアップデートのあった「AWS SAM CLI」を使ってリリースフローの改善にチャレンジしてみました。 そこで、samコマンドで作成したサンプルプロジェクトをローカルで実行しデプロイする方法を紹介します。それに加えて、現状BASE BANKチームで行っている代表的な運用設定をご紹介します。 今回記事作成に際して、サンプルプログラムを用意しているのでもしよければ手元でご確認ください。 なお、今回LambdaにはGoを採用しました。検証に使用した環境は以下の通りです。 macOS: 10.15.x (Catalina) SAM CLI: version 1.2.0
Fargate利用費最大52%オフの衝撃！Savings PlansによるFargateの利用費削減を検討する ｜ Developers.IO
「Fargate便利だけど、RIとかスポットインスタンスとか使えないよなぁ」 ホストインスタンスを一切気にせずコンテナワークロードを扱えるAWS Fargate。サービス開始当初は、EC2の料金のほぼ1.5倍ぐらいしていたのが、2019年1月に35%〜50%値下げされ、料金面で使いやすくなっていました。 これでも十分に扱いやすくなっていたのですが、昨日のアップデートにより新たにSavings Plansという超ド級の料金体系が突如発表されました。 Introducing Savings Plans これにより、Fargateにおいても事前に利用費をコミットすることで、オンデマンド価格より最大52%割安価格で利用することが可能になっています！ Fargate新料金プランきたか…!! ( ﾟдﾟ) ｶﾞﾀｯ / ヾ ＿_L| /￣￣￣/＿ ＼/ / Savings Plansの概要 I
[初心者向け]言われるままにFargate初めて触ったので、忘れないための記録 | DevelopersIO
こんにちは、平野です。 先日、部内の進捗報告のSlack部屋で 15分制限に引っかかりそうなのでLambda → Fargateへの変更作業 という文言を見かけました。 先日GlueのPython shellを使ってLambdaの15分の壁を越えようとした記事を書きましたが、 15分の壁を越えろ！GlueのPython shellでVPC Lambdaもどきの長時間ジョブを動かしてみた Fargateでも同じようなことができるのか、と思い、早速試してみようとしました。 （が、今回の記事ではそこまで達成できてません！） しかし、Fargateのこと何も知らないマンだったので、まずどこから触ったらいいのかまったく不明でした。 Fargateの入門記事を調べても、既存のECS環境からFargateへの移行記事などが多く Fargateがある時代にECSデビューする私にとってはツライものがありまし
ChatGPT関連情報の追い方、個人・業務での使い方、サービスへの組み込み方、 ABEJAでの取り組み4例、ここ2週間のトピックなど行けるところまで
Amazon ECS Fargate/EC2 起動タイプでの理論的なコスト最適化手法 | Amazon Web Services
Amazon Web Services ブログ Amazon ECS Fargate/EC2 起動タイプでの理論的なコスト最適化手法 この記事は、 Theoretical cost optimization by Amazon ECS launch type: Fargate vs EC2 を翻訳したものです。 本ブログは Julia Beck, Thomas Le Moullec, Kevin Polossat, and Sam Sanders によって投稿されました。 お客様から、 Amazon Elastic Container Service (Amazon ECS) のベストプラクティスについてご質問をいただくことがよくあります。特に、 Well-Architected Framework の コスト最適化 の柱に注目されるケースがあります。こちらに関する大きな要因の 1 つには
AWS Fargate Enables Faster Container Startup using Seekable OCI | Amazon Web Services
AWS News Blog AWS Fargate Enables Faster Container Startup using Seekable OCI While developing with containers is becoming an increasingly popular way for deploying and scaling applications, there are still areas where improvements can be made. One of the main issues with scaling containerized applications is the long startup time, especially during scale up when newer instances need to be added.
Amazon Web Services ブログ AWS Fargate for Amazon ECS のアップデート 先日、AWS Fargate for Amazon ECS 経由でデプロイされたタスクの設定とメトリクスの収集体験を向上させる機能を発表しました。お客様からのフィードバックに基づき、以下の機能を追加しました。 環境ファイルのサポート シークレットバージョンと JSON キーを使用した、AWS Secrets Manager とのより深い統合 より詳細なネットワークメトリクスと、タスクメタデータエンドポイントを介して利用可能な追加データ この記事を通して、これらのアップデートについて深く掘り下げ、Amazon ECS for AWS Fargate にコンテナをデプロイすると、どこに価値をもたらすことができるかを説明します。まず、簡単なデモアプリケーションのデプロイから始めて
EC2で運用しているWordPressサーバーをECS/Fargateに移行しました | ランサーズ（Lancers）エンジニアブログ
SREチームの安達(@adachin0817)です。今回WordPressサーバーであるEC2からECS/Fargateに移行しましたが、紆余曲折を得て、苦労したところ、技術的な部分、最終的には複数のリポジトリを一つにまとめたことなどを紹介したいと思います。まずはプロジェクトとサーバーの構成から説明していきましょう。 ランサーズのWordPressとECS時代のサーバー構成 https://engineer.blog.lancers.jp https://info.lancers.jp https://l-ap.jp https://connect.lohai.jp https://lohai.jp https://tips.lancers.jp https://www.lancers.co.jp https://www.lancers.jp/assistant/cases https:/
【Chaliceに入門してみた】LambdaとAPI Gatewayを手動で構築して消耗していた過去の私へ | DevelopersIO
こんにちは。AWS Loftが大好きな佐伯、改めKyoです。(まさか社内に佐伯さんが3名もいるとは…) AWS Loftでのハンズオンに参加してきたのでレポします。 AWS Amplify & Chalice ハンズオン 〜怠惰なプログラマ向けお手軽アプリ開発手法〜 Chaliceとは？ ChaliceはAWS Lambdaを使ったサーバレスアプリケーションを、Pythonで構築するためのマイクロフレームワークで、以下が可能です。 コマンドラインによるアプリの構築、デプロイおよび管理 API Gatewayをはじめ、S3, SNS, SQSといったAWSサービスとのインテグレーション IAM ポリシーの自動生成 Python Serverless Microframework for AWS ちなみにChaliceとは聖杯のことです。ChaliceはPythonのマイクロウェブフレームワー
サイボウズサマーインターン2020 報告 〜 OSSへの貢献を通して学ぶKubernetes基盤開発 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。Necoチームの池添とsatです。 サイボウズは毎年サマーインターンシップを開催しています。 今年は新型コロナウイルス(COVID-19)の影響で一時開催が危ぶまれました。 しかし、この状況で学生の皆さんの就業体験の機会が失われてしまうのもよくないと考え、フルリモートでインターンシップを実施することとしました。 blog.cybozu.io Kubernetes基盤開発コースは8月と9月の2回開催で、1回目の8月3日～14日(9日間)の日程には4人の学生が参加してくれました。 Kubernetes基盤開発コース担当のNecoチームはサイボウズの中でも、もっともOSSを活用しているチームです。 そこでこのコースでは、Necoチームが取り組んでいるKubernetes基盤開発について、OSSへの貢献を通して知ってもらう機会にしました。単に開発をするだけではなく、サイボウズがどういう
qiita.com こんにちは、はじめまして。虎の穴ラボのはっとりです。 虎の穴ラボ Advent Calendar 2020 - Qiita - Qiita 7日目の記事になります。 6日目はT.MさんのSaaSに関する記事です。 toranoana-lab.hatenablog.com 8日目は、礒部さんの画像判別ボットに関する記事です。 toranoana-lab.hatenablog.com 新規サービスに携わることになり、その際AWS Fargateを使った環境構築を担当したので構築方法を共有します。 この記事で話さないこと アプリケーション側の作り こちらはまた別の機会に紹介したいと思います。 構成管理ツールなどによる環境構築 特定のツールによる環境構築ではなくGUIでもできる手順にしています。 全体構成 今回紹介する範囲での全体構成は下記の通りです。 アプリケーションはfro
This all started with a blog post back in 2020, from a tech curiosity: what's the fastest way to scale containers on AWS? Is ECS faster than EKS? What about Fargate? Is there a difference between ECS on Fargate and EKS on Fargate? I had to know this to build better architectures for my clients. In 2021, containers got even better, and I was lucky enough to get a preview and present just how fast t
2021年に注目すべきCNCFの5つのテクノロジーを「Kubernetes Meetup Tokyo」のセッション記事から解説する
2021年に注目すべきCNCFの5つのテクノロジーを「Kubernetes Meetup Tokyo」のセッション記事から解説する はじめに Kubernetes Meetup Tokyoの懇親会用に話のネタとしてメモを残す。 2021年に注目すべきCNCFの5つのテクノロジーとは？ KubeConNA(2020)最終日のkeynote session、Keynote: Predictions from the Technical Oversight Committee (TOC) - Liz Rice, CNCF TOC Chairで、CNCFのTOC(技術統括委員会)の委員長を務めるLiz Riceさんが、CNCFの2021年の技術的展望として紹介した5つの技術要素である。(順不同) カオスエンジニアリング エッジコンピューティングとしてのKubernetes サービスメッシュ Web
AWS Fargate、Amazon ECSの起動と停止を自動化できる無料ツールを紹介します | DevelopersIO
はじめに 弊社が提供する無料のAWS運用かんたん自動化ツール「opswitch」を使って、夜間や土日祝日などの使わない時間帯に開発環境のAWS Fargate、Amazon ECSを停止させる方法を紹介します。プログラムなどの知識はなくても、Webの操作だけで設定を行えます。Fargateを例に説明をすすめます。ECS(ECS on EC2)の場合は「タスクの作成」が少し違いますので補足をご覧ください。 準備 ユーザーガイド opswitchを開始するを参考に以下の初期設定を完了させてください。 opswitchのアカウント作成 opswitchアカウントの初期設定 ユーザー属性情報登録 組織作成 AWSアカウント連携作成 タスクの作成 それではFargateを起動させるタスクから作成します。 Management Consoleでタスク数を変更したいECSサービスにタグをつけます。どのサ
Capacity Providerとは？ECSの次世代スケーリング戦略を解説する #reinvent #cmregrowth ｜ Developers.IO
ECSのスケーリング戦略を柔軟に設定でき、さらにFargate Spotを活用できるCapacity Provider、皆さんすでにお使いでしょうか？ re:Invent2019の開催中に突如発表された新機能なのですが、「Fargate Spotとかいうのが使えるらしいで！」というキャッチーな側面はありつつも、その概念はECS全体を包括するもので、正直自分も最初とっかかりが難しかったです。 この記事は、CM re:Growth 2019 TOKYOで発表した内容を元に、Capacity Providerの全体像を掴んでもらうことを目的に書きました。ECSにおけるかなり大きな機能拡張なので、普段からECSを使われている方は、是非この記事でこの新機能を掴んでもらえればと思います。 （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 Capacity Provider ﾏﾂﾘﾀﾞﾜ
minne の画像配信システムのリアーキテクトと作品画像の画質向上ついて - Pepabo Tech Portal
minne 事業部のシニアエンジニアリングリードのshiro16です。最近は年末に組んだ PC でずっとエオルゼアを旅しています。 少し時間が経ってしまいましたが、昨年 minne では画像配信のシステムのアーキテクチャを刷新しました。 更にユーザが登録した作品画像を配信する際の画質の向上を行ったのでその内容をご紹介いたします。 画像配信システムのリアーキテクト そもそもリアーキテクトが必要になった経緯なのですが、以前の構成では okara と呼ばれる内製のツールが使われていました。okara に関しての詳細は弊社 yano3 が公開している資料を参考にして頂ければと思います。 長年 okara を使って来た訳なのですが yano3 が技術部から EC 事業部に異動した事により以前よりメンテナンスに時間を割けなくなってしまったという理由があり、okara のメンテナンスを事業部で行っていく
CloudFront FunctionsはLambda@Edgeより安い。それ本当？！ | DevelopersIO
CX事業本部@大阪の岩田です。先月GAされたCloudFront Functions(以後CF2とします)ですが、従来から利用できたLambda@Edge(以後L@Eとします)と比較して、高速かつ低コストというのがウリの1つになっています。最大実行時間や最大メモリといった制約はありますが、レスポンスヘッダを固定付与するようなライトな処理はCF2のユースケースとしてAWSの公式ドキュメントでも紹介されています。 Customizing at the edge with CloudFront Functions では今後はレスポンスヘッダの固定付与のような処理は全てCF2で実装すべきなのでしょうか？基本的にはCF2で良いと思いますが、使い方次第ではCF2よりもL@Eの方が低コストになることも考えられるので、なぜこのようなケースが起こり得るのかをご紹介します。 CF2とL@Eの料金体系比較 まず
運用中のLambdaのログに特定のワードが出現した時、Slackに通知させる仕組みをAWS CDKで作ってみました | DevelopersIO
運用中のLambdaのログに特定のワードが出現した時、Slackに通知させる仕組みをAWS CDKで作ってみました 1 はじめに CS事業本部の平内（SIN）です。 Lambdaファンクションでエラーなどがログに出力された時に、これを通知する仕組みは結構重要です。 CloudWatch Logsでサブスクリプションを追加してLambdaと連携すれば、Slackなど任意の宛先に通知することは簡単です。そして、作成当初から組み込んむ場合は特に問題ないでしょう。 しかし、既に運用されているLambdaにこれを仕掛けるとなると、ちょっと、一撃とは行きません。 今回は、AWS CDK(AWS Cloud Development Kit)を使用して、この作業を軽易に行うプロジェクトを作成してみました。 （注：CFnでも、同じ仕組みを作成可能です。AWS CDKでなければ出来ないという意味ではあ
Amazon ECS と AWS Fargate で動作する「LayerX インボイス」のコスト最適化手法 - LayerX エンジニアブログ
こんにちは！LayerXの高際 (@shun_tak) です！過去にはOCR関連の記事を書きました！ LayerX インボイスのアプリケーション・サーバーはAmazon ECS と AWS Fargateで動作しています。今回の記事ではそのコスト最適化手法について解説したいと思います。よろしくお願いします！ tech.layerx.co.jp サマリーとしては、LayerX インボイスではオーソドックスに費用の削減とタスク数の最適化という2つの方法でコスト最適化を行っています。 Savings PlansとFargate Spotを活用した費用の削減 Auto ScalingとScheduled scalingによるタスク数の最適化 早速次節から解説していきます！ Savings Plansを活用した費用の削減 Fargateは使った分だけ料金が請求されます（vCPU数×メモリサイズ×起動
Operating Lambda: パフォーマンスの最適化 – Part 1 | Amazon Web Services
Amazon Web Services ブログ Operating Lambda: パフォーマンスの最適化 – Part 1 Operating Lambda シリーズでは、AWS Lambda ベースのアプリケーションを管理している開発者、アーキテクト、およびシステム管理者向けの重要なトピックを取り上げます。この 3 部構成のシリーズでは、Lambda ベースのアプリケーションのパフォーマンスの最適化について説明します。 サーバーレスアプリケーションは、並列化と同時実行が容易であることから、非常に高いパフォーマンスを実現することができます。Lambda サービスはスケーリングを自動的に管理しますが、アプリケーションで使用する個々の Lambda 関数を最適化することで、レイテンシーを削減し、スループットを向上させることもできます。 本稿では、Lambda 実行環境のライフサイクルやコール
EC2インスタンスの踏み台を用意したくない こんにちは、のんピ(@non____97)です。 皆さんはEC2インスタンスの踏み台を用意したくないと思ったことはありますか? 私はあります。 VPC上のRDS DBインスタンスやRedisクラスター、OpenSearch Service ドメインなどのリソースに接続したい場合、Site-to-Site VPNやClient VPN、Direct Connectがなければ踏み台(Bastion)が必要になります。 踏み台へのアクセス方法は以下のようなものがあります。 直接SSH SSMセッションマネージャー EC2 Instance Connect そして、踏み台となるリソースとして採用される多くがEC2インスタンスだと考えます。EC2インスタンスの場合、OS周りの面倒をみる必要があります。OS内のパッケージのアップデートが面倒であれば「踏み台が
https://lancersrecruit.connpass.com/event/219434/ 【SPACEMARKET×Lancers】シェアリングエコノミーを支えるインフラ/SREでのスライドとなります。
趣味KubernetesとCKA & CKAD合格体験記 - 運び屋 (A carrier(forwarder) changed his career to an engineer)
先日、Linux Foundation傘下のプロジェクト「CNCF(Cloud Native Computing Foundation)」の資格を2つ取得しました。以下に記載する内容がこれから受験される方、または受験を検討される方の参考になれば幸いです。 タイトルにもある下記の資格をそれぞれ英語で受験し、合格しました。 2021/04/17 Certified Kubernetes Administrator (以降CKAと呼ぶ) 2021/04/24 Certified Kubernetes Application Developer (以降CKADと呼ぶ) ここで話すこと なぜ受験したのか 勉強開始前の状態 勉強期間 試験概要 合格までに行った勉強 やっておけばよかったこと 試験のポイント 今後の目標 ここで話さないこと 試験の問題そのものや傾向など(守秘義務(Confidential
AWSアカウント間のS3, DynamoDBデータ移行計画の記録 （背景と転送方法の検討） | DevelopersIO
はじめに こむろ@事業開発部です。 今回、5年以上稼働していた SpringBoot アプリケーションを エンドユーザーへの影響を最小にして、別のAWSアカウントへ完全に移行させました。その調査、検討、実施した際の想定外のトラブルやその対処について記録します。 私は主に全体のとりまとめを担当し、アプリケーション内で使うデータの関係性のチェックや移行作業全体のスケジュール作成、切り戻し計画の作成、メンバーへのタスク依頼、顧客調整等々を行いました。 概要 全体が無駄に長くなってしまったのでまとめると以下になります。 Elastic Beanstalk （1 Container Docker）で動作していた Spring Boot アプリケーションを、別の AWS アカウントの Fargate 環境へ引っ越し 作業時間は最大 5 時間 転送はもちろん、データの完全一致の保証も含めて 移行対象デー
ChatGPTのAPIがオープンになったのでSlackに分身を配置した話 - Money Forward Developers Blog
※飯テロを要求する社員と飯テロするbotと飯テロにダメだしする社員戯画 ご機嫌よう、世界 なんかもう最近は猫も杓子もChatGPTじゃないですか？ 僕みたいに自然言語処理をかじっていると、社内外問わずいろんな人から「ChatGPT、どうっすか」と まるで宗右衛門町の客引きのように 声をかけられます どうもこうも、それはそれでしょう、そもそもあの子のベースになっているGPT-3.5は単純にパラメータ数がｒｙ ChatGPTのAPIがついにオープンになったのでSlack botを早速導入する ※とんでもない嘘をつくChatGPT図絵 どうもCTO室AI推進部とグループ会社HiTTOで 二股 兼務中の@ken11です。 いや今回の話は非常にシンプルで掲題の通りなんですが、冗談抜きで社内外問わずChatGPTに対する強い興味と関心のお声を頂戴しており、せっかくなのでAPIが使えるようになったならみ
【衝撃に備えろ】Fargate PV1.4のVPCエンドポイント変更点について | DevelopersIO
こんばんわ、札幌のヨシエです。(亜人大好きです、よつばと！と同じぐらい好きです) コンテナ業界盛り上がってますね、中でもFargateのプラットフォームがアップデートされ様々な新機能が追加されてます。 挙げるとキリがないですがFargate PV1.4からコンテナエンジンがDockerからcontainerdに切り替わり、様々な変更が加えられております。 詳しくは↓をご確認ください。 その中でFargate(PV1.4)の発表があった時は「あーはいはい、中身が変わるんですね。わかりました。まぁコンテナホストのバージョンが上がってもコンテナが起動することだけ確認すれば良さそうっすね」と考えておりましたが、 AWSドキュメントに以下の記載を確認しました。 Fargate 起動タイプおよびプラットフォームバージョン 1.3.0 以前を使用する Amazon ECS タスクでは、この機能を活用する
EKS on Fargate：virtual-kubelet の違い + Network/LB 周りの調査 - @amsy810's Blog
EKS on Fargate こんにちは。 サイバーエージェントの青山（@amsy810）です。 この記事は Kubernetes3 Advent Calendar の 4日目の記事です（EKS #2 にもクロスポストしています）。 re:Invent で EKS 関連の何かしらの発表がされることを見越して Advent Calendar を埋めたので、書くネタが見つかってホッとしています。 KubeCon 会期中に 「Managed Worker Node for EKS」 がリリースされ歓喜の声が上がりましたが、今回は re:Invent で 「EKS on Fargate」 がリリースされ歓喜の声が上がっているようです。 今回は EKS on Fargate のアーキテクチャを見ていきたいと思います。virtual-kubelet と近いと思ってますが果たして。 （EKS on Fa
ECS on Fargate のセキュリティ対策は何をやるべき？開発者目線で考える/security-for-ecs-on-fargate-secjawsdays
以下のイベント「Security-JAWS DAYS」で発表した際の登壇資料です。 https://s-jaws.doorkeeper.jp/events/155024
【AWS】Next.js+LaravelをECS+Fargateにデプロイする時のアレコレ | yutaro blog
最近業務でNext.js+LaravelのアプリケーションをAWSのAmazon ECS(Fargate)にデプロイするタスクを担当しているので、デプロイするにあたりNext.js側、Laravel側でやっておくこと、エラー対応などをまとめておく。 ECSへのデプロイはEC2へのデプロイに比べそもそもネットに情報が少ないECSの中でもデータプレーン（コンテナ実行環境）にEC2を使った記事が多くFargateを使った記事はかなり少ないECS+Fargateへのデプロイでも本記事のようなフロントエンド+APIの構成のデプロイ例はマジで少ない という状態で結構苦戦したので、自分で苦戦したことを残しておくとともに同じ構成でデプロイする方に向けて参考になれば嬉しいです。 ECS、ECR、Fargateについての技術説明・全体的なデプロイ作業の手順についてはこの記事では扱わないが、この記事（というかZ
最もリスクの高いAWS構成トップ3 #aqua #コンテナ #セキュリティ - クリエーションライン株式会社
本ブログは「Aqua Security」社の技術ブログで2021年1月20日に公開された「 The 3 Riskiest Cloud Native AWS Configurations 」の日本語翻訳です。 EC2 だけでも数十もの主要なセキュリティ設定が可能なため、AWS の設定オプションの多さに圧倒されることがあります。複雑さが増す一方で、クラウドネイティブデプロイメントにおいて動的なインフラ要件に対応するには、クラウドアカウントを適切に、そして安全に設定することが重要です。サービスを適切に設定するという課題は、利用可能な AWS サービスの数が膨大であり、それぞれが独自の要件を持っているため、さらに複雑になっています。 AWS のクラウドサービスは、新しいサービスの提供や定期的なアップデートなどで常に変動し、CSPM(Cloud Security Posture Management
Python で RDS に格納されている各種ログをダウンロードする - 継続は力なり
タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウンロードし,S3 などにアップロードしていけばコスト削減に繋がりそうです.この記事では,ダウンロードを Python でやってみた内容をまとめていきます. aws.amazon.com Python で RDS ログダウンロードのための手段 DownloadCompleteLogFile でのログダウンロードを試してみる まとめ Python で RDS ログダウンロードのための手段 boto3 のドキュメントを見てみたらログダウンロードをするのに, download_db_log
[Terraform]ECS FargateでFireLensを使って複数サービスにログ出力する | DevelopersIO
こんにちは！コンサル部のinomaso(@inomasosan)です。 ECS FargateでFireLensからCloudWatch LogsやKinesis Data Firehoseへのログ出力を、Terraformでコード化したので紹介します。 検証にあたり、弊社の以下ブログを参考にしました。 そもそもFireLensって何？ FireLensは、複数のAWSサービスやAWSパートナーネットワーク(Datadog等)にログ出力することができます。 ECSタスク定義でサイドカーとして起動し、他のコンテナからログドライバーとして使用します。 コンテナイメージにはFluentdとFluent Bitを選択可能です。 今回の検証では、リソース使用率が低く、ログルータに推奨されているFluent Bitを使用します。 2021/11/6時点でFluent Bitでは、以下のAWSサービスに
![[Terraform]ECS FargateでFireLensを使って複数サービスにログ出力する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8a77b081e14c8d61a2e80498092f8ffb9b60da03/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Fterraform-eyecatch.png)
入門 EKS on Fargate - Qiita
プロダクションで EKS on Fargate を(できるだけ)使うことを目標に EKS on Fargate に入門します。 Managed Node Groupとの使い分けなどについてもまとめます。 ※ 本記事は 2019/12/14 時点の情報に基づいています。 Fargate、EKS on Fargateとは FargateはAWS上で「仮想マシンの管理なしにコンテナをデプロイできるサービス」です。 元々はAWS独自のコンテナオーケストレーションシステムであるECSの一機能と思われていましたが、EKS on Fargateが登場した今では、「ECS・EKSどちらでも動く、コンテナ化されたワークロード向けのサーバレスコンピュートエンジン」という体でブランディングされているようです。Fargateの公式ページ冒頭でも以下のように紹介されています。 AWS Fargate is a se
EC2で運用している分析基盤(Digdag + Embulk)をECS/Fargateに移行しました | ランサーズ（Lancers）エンジニアブログ
SREチームの安達(@adachin0817)です。最近ではランサーズ本家のインフラをコンテナに移行しまくっております。今回ランサーズとMENTAで運用しているEC2/分析基盤サーバー(Digdag + Embulk)をECS/Fargateに移行完了しました。では早速概要と苦労した点、今後の展望などを振り返っていきたいと思います。 分析基盤の紹介 > ランサーズの分析基盤(capybara)と運用について紹介 > MENTAをAWSに移行しました ちなみに私が入社して3年経つのですが、運用して変わったことは3年前よりデータの量が膨大になっていることと、現在、社内の分析チームにとって欠かせないシステムとなっております。その中でDigdagによるスケジューラーとEmbulkによるマルチソースバルクデータローダーである分析基盤専用のEC2サーバーがあり、毎日夜中にデータをBigQuryにシンク
OOMしたCronJobのメモリ制限を「いい感じ」に増やし、不必要な課金・障害対応を減らす - エムスリーテックブログ
初めまして、2024年3月後半にエムスリーのAI・機械学習チームで10日間インターンに参加させていただいた東（@azuma_alvin）です。 もしタイトルが何かに似ていると感じた方がいれば、只者ではないと思われます。 洗練されたデザインでかっこいいと思ったエムスリーオフィスの受付の写真 この記事では、KubernetesのCronJobでOOM（Out Of Memory）が発生した時に「いい感じ」にメモリ制限を増加させてくれるbroomの開発経緯とその実装についてお話しします。 また、インターン期間で感じたエムスリーという「ギーク集団」の中で開発する楽しさについてもお伝えできればと思います。 2週間でゼロ（nil）から開発したbroomは、OSSとしてGitHubで公開しているのでコントリビュートお待ちしております！ github.com CronJobのOOMとは CronJobのO
RedashをFargate, Datadog, Terraformで構築/運用する - Timee Product Team Blog
こんにちは、タイミーSREチームの宮城です。 今回は弊社がRedashをFargateで構築/運用している話を紹介します。 背景 タイミーでは、CSやセールスのKPI策定から毎月の事業数値に至るまで、Redashが様々な用途で活用されています。 Fargateで構築する以前はEC2上のdocker-composeで運用されていましたが、以下の課題がありました。 オートスケールできないため、クエリが詰まってCPUが100%になってサービスが停止する。 その度slack上から再起動していた セットアップしたエンジニアが退社しており、インフラ構成図やノウハウの共有、IaCによる管理ができていない。 クエリやダッシュボードなどのデータの定期的なバックアップができていない。 v7系からv8系へのアップデートがしたいが、アップデートによる影響範囲がわからず恐怖感がある。 事業に大きく関わるサービスなの
AWS Fargate now fully supports multiline logging powered by AWS for Fluent Bit
Amazon ECS now fully supports multiline logging powered by AWS for Fluent Bit for both AWS Fargate and Amazon EC2. AWS Fluent Bit is an AWS distribution of the open-source project Fluent Bit, a fast and a lightweight log forwarder. Amazon ECS users can use this feature to re-combine partial log messages produced by your containerized applications running on AWS Fargate or Amazon EC2 into a single
Deep Dive on AWS App Runner VPC Networking | Amazon Web Services
Containers Deep Dive on AWS App Runner VPC Networking AWS App Runner, introduced in 2021, is a fully managed service for running web applications and API servers. App Runner greatly simplifies the experience to build and run secure web server applications with little to no infrastructure in your account. You provide the source code or a container image, and App Runner will build and deploy your ap
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS SAM CLIを使ったLambdaのローカル実行と簡単デプロイ - BASEプロダクトチームブログ
EKS を使ってる人から見た App Runner
AWS Fargate for Amazon ECS のアップデート | Amazon Web Services
本番で使えるFargate環境構築 - 虎の穴開発室ブログ
Scaling containers on AWS in 2022
AWS CDKでECS Fargate Bastionを一撃で作ってみた | DevelopersIO
MENTAをAWSに移行して振り返る(ECS/Fargate + Laravel編)