OOMしたCronJobのメモリ制限を「いい感じ」に増やし、不必要な課金・障害対応を減らす - エムスリーテックブログ
初めまして、2024年3月後半にエムスリーのAI・機械学習チームで10日間インターンに参加させていただいた東（@azuma_alvin）です。 もしタイトルが何かに似ていると感じた方がいれば、只者ではないと思われます。 洗練されたデザインでかっこいいと思ったエムスリーオフィスの受付の写真 この記事では、KubernetesのCronJobでOOM（Out Of Memory）が発生した時に「いい感じ」にメモリ制限を増加させてくれるbroomの開発経緯とその実装についてお話しします。 また、インターン期間で感じたエムスリーという「ギーク集団」の中で開発する楽しさについてもお伝えできればと思います。 2週間でゼロ（nil）から開発したbroomは、OSSとしてGitHubで公開しているのでコントリビュートお待ちしております！ github.com CronJobのOOMとは CronJobのO
AWS ECS Fargateは1分間にいくつまで数えられるか-Linux/ARM64とLinux/X86_64の性能比較
AWS Graviton2 プロセッサは、64 ビットの Arm Neoverse コアを使用してアマゾンウェブサービスがカスタムビルドしたもので、Graviton2 を搭載した Fargate は、同等のインテル x86 ベースの Fargate に比べて、最大 40% の料金性能向上と 20% の低コストを実現し、
SREチームの橋本です。SRE連載の3月号となります。 Amazon ECSのコスト最適化においてはFargate Spotが有効な手段となりますが、いつ中断されるか分からない性質上、その監視も併せて実施していく必要があります。今回はそのFargate Spotを本番環境で運用しているプロジェクトにおける取り組みを紹介します。 背景 Fargate (Amazon ECS on AWS Fargate) を用いると負荷に合わせた容易なスケーリングが可能になる一方、このときCPU使用率の安全マージンや予測のブレなどにより、リソースがやや過剰になってしまうこともあります。 Fargate Spotの代表的なユースケースと言えばユーザーに露出しない開発環境ではないかと思いますが、このような場合にコストを考えると、タスクの中断をある程度許容しての本番環境でのFargate Spot運用も可能な選択
フロントエンドパフォーマンス 入門
IntelliJ IDEA を知らなかった 自分に教えたい小ネタ集 / IntelliJ IDEA Hints for My Past Self
EC2インスタンスの踏み台を用意したくない こんにちは、のんピ(@non____97)です。 皆さんはEC2インスタンスの踏み台を用意したくないと思ったことはありますか? 私はあります。 VPC上のRDS DBインスタンスやRedisクラスター、OpenSearch Service ドメインなどのリソースに接続したい場合、Site-to-Site VPNやClient VPN、Direct Connectがなければ踏み台(Bastion)が必要になります。 踏み台へのアクセス方法は以下のようなものがあります。 直接SSH SSMセッションマネージャー EC2 Instance Connect そして、踏み台となるリソースとして採用される多くがEC2インスタンスだと考えます。EC2インスタンスの場合、OS周りの面倒をみる必要があります。OS内のパッケージのアップデートが面倒であれば「踏み台が
プライベートの時間は極力削らない。Kubernetesエキスパート青山真也氏のコスパ最高な情報収集術 2024年3月5日 株式会社サイバーエージェント インフラエンジニア 青山真也 (Masaya Aoyama) 2016年、新卒でサイバーエージェントに入社。OpenStackを使ったプライベートクラウドやGKE互換なコンテナプラットフォームをゼロから構築し、国内カンファレンスでのKeynoteに登壇。著書に『Kubernetes完全ガイド』『Kubernetesの知識地図』『みんなのDocker/Kubernetes』。現在はKubernetesやOpenStackなどOSSへのコントリビュート活動をはじめ、CloudNative Days Tokyo Co-chair、CNCF Japan ChapterのOrganizer、Kubernetes Meetup TokyoのOrgani
これまでもコンテナ関連の記事はそれなりに書いてきましたが、改めて最新事情に合わせて練り直したり見渡してみると、大きなところから小さなところまで選択肢が多すぎると感じました。 コンテナ系アーキテクチャを丸っと他所の構成で真似することって、おそらくほとんどなくて、参考にしつつ自分流に築き上げていくでしょうから、今回は築くにあたってどういう選択肢があるのかにフォーカスした変化系で攻めてみようと思った次第です:-) 目次 今年一発目の長いやつです。半分は学習教材用、半分は道楽なテイストです。 はじめに 基盤 インスタンス or コンテナ ECS or EKS on EC2 or FARGATE X86 or ARM64 ロードバランサー メンテナンス：ALB or ECS Service 共有 or １環境毎 アクセスログ：ALB or WEBサーバー ECS / EKS デプロイ：Blue/Gr
Amazon Elastic Container Service (Amazon ECS) and AWS Fargate now integrate with Amazon Elastic Block Store (EBS), allowing you to easily provision and attach EBS volumes to Amazon ECS tasks running on both AWS Fargate and Amazon Elastic Compute Cloud (EC2) using Amazon ECS APIs. This capability makes it easier for you to deploy storage and data intensive applications such as ETL jobs, media trans
あらためて、じっくり動かすFargate
自分でECS/Fargateやその周辺リソースのインフラ構築・整備をしたり、まわりのインフラ強くないチームメンバーがデバッグに苦戦する様子を見ながら、やっぱりECSは登場するリソースがちと多かったり役割分担がとっつきにくかったりするよなぁと思っていました。 漠然とそんなことを思っていた頃、社内で自分の属するグループに勉強会が爆誕し「これはECSの話するしかないのでは」と思い立ち...そのまま2ヶ月ほど経過してしまいました。というわけで社内アドベントカレンダーに登録し、締切駆動執筆することにしました。というわけで この記事は LITALICO Engineers Advent Calendar 2023 の18日目の記事です。 はじめに この記事では、ECS、特にFargateを使ったWebサーバの構築を、基礎からハンズオン的に組み上げていく内容になっています。ECSタスクやタスク定義、サー
Fargateを利用したECS Scheduled Taskでタスクが起動しない事象について - shmokmt's blog
「Capacity is unavailable at this time. Please try again later or in a different availability zone」というエラー 2年近くFargateでECS Scheduled Taskを運用していますが、 初めてECS Scheduled Taskが起動しないという事象が発生しました。 EventBridgeはcron式によって期待する時刻に発火していたのですが、ECSタスクが起動した形跡がありませんでした。 CloudTrailでECSのRunTask APIの呼び出し履歴を確認したところ、以下のようなエラーが出ていました。 「Capacity is unavailable at this time. Please try again later or in a different availabili
AWS Lambdaは、あらかじめ登録した関数を負荷に応じて同時に並列実行することでスケーラブルな処理を実現する仕組みを備えています。 例えばニュースサイトやオンラインストアなどで突発的なトラフィックが発生したとしても、AWS Lambdaを用いて構築することでオンデマンドで迅速にスケール可能となっています。 AWSは、このAWS Lambdaのスケール速度がこれまでよりも最大で12倍速になったと発表しました。 具体的な説明を「AWS Lambda 関数が大量のリクエストを処理する場合に 12 倍速くスケールできるようになりました 」から引用します。 まず、従来のスケール速度は1アカウントあたり最初の1分で500から300程度、その後毎分500ずつとなっていました。 最初の 1 分で 500～3,000 回の同時実行 (リージョンによって異なります) をアカウントレベルでスケールし、その後
ArgoCDバージョンアップを安全かつ迅速に行うための取り組み - freee Developers Hub
概要 freeeではAmazon Web Services (AWS) Elastic Kuerbentes Service (EKS) 上にほとんどのアプリケーションが載っており、EKSへのデプロイ基盤としてはOSSの ArgoCD を利用しています。 ArgoCDから各クラスタにデプロイを行うため、非常に中央集権的なアーキテクチャとなっています。そのため、ArgoCDのバージョンアップは安全かつ迅速に行う必要があります。 本記事では、ArgoCDのバージョンアップの際に行っている取り組みをいくつか紹介します。 かなりマニアックですが、イントロダクションとまとめだけでも読んでいただければ幸いです。 イントロダクション 2023/04からfreeeでPlatform Deliveryチームに所属している gussan です。 Platform DeliveryチームはCI/CD全般のPla
envoyにおける分散トレーシングの導入でオブザーバビリティを向上させた話 - freee Developers Hub
はじめまして、2023/6からfreeeのEnabling SREチームに所属している大木竜勝(ryu)です。 この記事はfreee Developers Advent Calendar 2023 - Adventar 3日目です。 この記事ではenvoyの分散トレーシングを用いてオブザーバビリティの向上を実現した取り組みについての記事になります。 背景 freeeではAmazon Web Services (AWS) Elastic Kuerbentes Service (EKS) クラスタ上にアプリケーションが載っておりその構成としてはenvoyが前段に存在し、後段に各アプリケーションPodが存在する構成となっています。 freeeにおける基本的なPod構成 上記の構成においてクラスタの単位はfreee会計やfreee人事労務といったプロダクト毎にクラスタが分かれている構成となっていま
本日はコンシューマチームのブログリレー2日目です。 エムスリーエンジニアリングG コンシューマチームの松原(@ma2ge)です。 今回は以前筆者が M3 Tech Talk で話した AWS Lambda での Web アプリ開発に Rails を使う内容について、 若干内容を変えつつ Tech Blog の方でも紹介をしたいと思います。 最近使っているキーボードの様子 現在のチームで担当している主要なアプリは Rails で書かれていて、ほとんどがコンテナ化され Amazon ECS(ECS) と Fargate を使って運用されています。 そんな中今年の初めに AWS Lambda(Lambda) に適したプロジェクトが話にあがりました。ただ Rails で Lambda しかも Web アプリとなるとあまり採用事例を耳にしません。 とはいえ使い慣れている Rails をそのまま生かし
AWS Fargate now enables Amazon ECS tasks to selectively leverage SOCI
Customers running applications with more than one containers on Amazon Elastic Container Service (ECS) with AWS Fargate can now leverage Seekable OCI (SOCI) to lazily load specific container images within the Amazon ECS task definition. This eliminates the need to generate SOCI indexes for smaller container images within the task definition, while still getting the benefits of SOCI with larger con
AWS Fargate、Amazon ECSの起動と停止を自動化できる無料ツールを紹介します | DevelopersIO
はじめに 弊社が提供する無料のAWS運用かんたん自動化ツール「opswitch」を使って、夜間や土日祝日などの使わない時間帯に開発環境のAWS Fargate、Amazon ECSを停止させる方法を紹介します。プログラムなどの知識はなくても、Webの操作だけで設定を行えます。Fargateを例に説明をすすめます。ECS(ECS on EC2)の場合は「タスクの作成」が少し違いますので補足をご覧ください。 準備 ユーザーガイド opswitchを開始するを参考に以下の初期設定を完了させてください。 opswitchのアカウント作成 opswitchアカウントの初期設定 ユーザー属性情報登録 組織作成 AWSアカウント連携作成 タスクの作成 それではFargateを起動させるタスクから作成します。 Management Consoleでタスク数を変更したいECSサービスにタグをつけます。どのサ
自分がニッチだと思っているテーマについて発表する「Qiita Engineer Festa 2023〜私しか得しないニッチな技術でLT〜」。ここで株式会社SonicGardenの遠藤氏が登壇。LambdaとFargateを組み合わせた実行環境について話します。 遠藤氏の自己紹介 遠藤大介氏：今日は「AWSのLambdaとPlanetScaleを組み合わせると、超絶スケールするWebアプリを作れちゃうぜ」という話をしていこうと思っています。 最初に自己紹介です。遠藤と申します。SonicGardenという会社で、プログラマーと執行役員をやっています。インフラと機械学習などが好きで、趣味もプログラムで仕事もプログラムな感じの人間なんですが、最近は機械学習周りが盛り上がっているので、そっちもいろいろやっています。 あと、ロードバイクに趣味で乗っているのですが、最近ちょっと乗れていません。それから
こんにちは、後藤です。今回はAWS構成における踏み台についての記事です。 データベースなどのインターネットに繋げたくないリソースに踏み台リソース経由でアクセスさせることは、セキュリティ設計としてよくある構成だと思います。 今回はその踏み台リソースに「ユーザーログイン有無を検知して自動停止する」ロジックを組み込んだ方法を共有します。 また、一般的によく用いられるのはEC2だと思いますが、今回はECS on Fargate(以降はFargateと略)を使います。しかも自動停止ロジックにLambdaを使いません！！コンテナの中で完結させます。 踏み台を設計する時に気になること そもそも踏み台について設計する際に何が気になるのでしょうか。それはOS管理負担と自動停止です。 踏み台にEC2を用いるとOSパッチ適用などの運用コストが発生します。業務系サーバでないのに心労が重なるのはなるべく避けたいとこ
Amazon Web Services ブログ AWS Fargate タスクのリタイア通知による運用の可視性の向上 この記事は Improving operational visibility with AWS Fargate task retirement notifications (記事公開日 : 2023 年 9 月 6 日) の翻訳です。 導入 AWS Fargate は、コンテナワークロードのためのサーバーレスコンピューティングエンジンであり、基盤となるインフラストラクチャの保護やパッチ適用といった、ビジネスに付加価値をもたらさない作業から解放してくれます。この記事では、AWS がインフラストラクチャを安全かつ最新の状態に保つための仕組みの 1 つである Fargate タスクのリタイア通知について深掘りします。 AWS は、Fargate タスクのリタイアプロセスに関する最
ワークフロー実行基盤をFargateからEC2へ変更したらコストもパフォーマンスも改善できて幸せになった話 - ZOZO TECH BLOG
はじめに こんにちは、ブランドソリューション開発本部バックエンド部SREブロックの小林（@mirai_kobaaaaaa）です。普段はWEARやFAANSというサービスのSREとして開発、運用に携わっています。 WEARではAmazon Elastic Kubernetes Service（以下、EKSと呼ぶ）を用いて複数システムのインフラ基盤を構築・運用しています。その中の1つとして、ワークフロー処理の実行基盤が存在しています。 本記事では、そのワークフロー実行基盤が抱えていた課題と、それらをどのように解決したのかを紹介します。また、付随して得られたメリットについても紹介いたします。 目次 はじめに 目次 WEARにおけるワークフロー ワークフロー処理内容 ワークフロー実行基盤の構成 ワークフロー実行基盤の課題 コスト内訳の調査 過剰なPodスペック Fargate実行時間の増大 ワーク
ECS on Fargate のセキュリティ対策は何をやるべき？開発者目線で考える/security-for-ecs-on-fargate-secjawsdays
以下のイベント「Security-JAWS DAYS」で発表した際の登壇資料です。 https://s-jaws.doorkeeper.jp/events/155024
Security-JAWS DAYSに「ECS on Fargate のセキュリティ対策は何をやるべき？ 開発者目線で考える」というタイトルで登壇しました #secjaws #secjawsdays | DevelopersIO
はじめに CX事業本部アーキテクトチームの佐藤智樹です。 今回は以下のイベント「Security-JAWS DAYS」で登壇させていただきました。 以下のSpeakerDeckで資料を公開しました。今回話しきれなかった内容として、NIST SP-800 190の中で対象外として内容の紹介やコンテナランタイムという場合の種類などについて書いたのでよければご覧ください。 登壇のモチベーション 今回の登壇ではNIST SP800-190をベースにECS on Fargateだと何をやるべきか考えてみました。これを日本中のいろんな会社で個別にやっていると時間がもったいないので、自分なりに読み解いて関連部分を切り出して対応方法を話させてもらいました。ECS on Fargateには関連ない部分と判断したものは省いたりしています。もしこの部分はこの方がよいなどあればどんどん改善していきたいので、Twi
Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate | Amazon Web Services
Containers Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate Introduction An Amazon Elastic Container Service (Amazon ECS) task is a number of co-located containers that are scheduled on to AWS Fargate or an Amazon EC2 container instance. Containers use Linux namespaces to provide workload isolation—and with namespaces—even though containers are scheduled together in an Amaz
AWS FargateにおけるAmazon ECS クラスターの効果的な分け方を様々な観点で考えてみた | DevelopersIO
はじめに AWS Fargateを使用している際に、ECSクラスターをECSサービスごとやECSタスクごとにどのように分けるかに迷うことがありました。 そこで、個人的に複数の観点からクラスターの効果的な分け方を考えてみました。 なお、この記事ではECS on EC2ではなく、ECS on Fargateのみに焦点を当てています。 ECSについて ECSの構成について簡単に説明しますと以下の3つに分かれます クラスター タスクとサービスを実行する基盤です サービス ECSクラスター内で、タスクを実行し管理します タスク タスク定義に基づいてコンテナを起動します 今回は、タスクとサービスを実行する基盤であるクラスターをどのような単位で分けるべきかを考えてみました。 一般的 一般的には、システムや環境ごとにクラスターを作成すると良いでしょう。 理由としては、２点あります。 1. リソース作成の簡
詳解 : Seekable OCI を使用した AWS Fargate におけるコンテナイメージの遅延読み込み | Amazon Web Services
Amazon Web Services ブログ 詳解 : Seekable OCI を使用した AWS Fargate におけるコンテナイメージの遅延読み込み この記事は Under the hood: Lazy Loading Container Images with Seekable OCI and AWS Fargate (記事公開日 : 2023 年 7 月 18 日) の翻訳です。 コンテナワークロード向けのサーバーレスコンピューティングエンジンである AWS Fargate が、Seekable OCI (SOCI) を使用してインデックス化したコンテナイメージの遅延読み込みをサポートしました。SOCI を使用してコンテナイメージを遅延読み込みすることで、AWS Fargate 上で Amazon Elastic Container Service (Amazon ECS)
[アップデート]全 AWS Fargate 利用者必見！ Seekable OCI インデックスによりコンテナの起動が大幅に高速化するようになりました | DevelopersIO
[アップデート]全 AWS Fargate 利用者必見！ Seekable OCI インデックスによりコンテナの起動が大幅に高速化するようになりました はじめに 昨年、AWSはSeekable OCI（SOCI）の導入により、アプリケーションの起動と同時にコンテナからデータを非同期にダウンロードするコンテナイメージの遅延読み込みを実現しました。 これにより、コンテナイメージを変更せずにアプリケーションをより速く起動できるようになりました。 今回、SOCIがAWS Fargateにもサポートされました! SOCIは、ECRに保存されているコンテナイメージと同じECRにインデックスを作成しておくことで、イメージ全体をダウンロードせずに個々のファイルを抽出してコンテナを迅速に起動できます。 Amazon ECR リポジトリからイメージをダウンロードする際には、自動的にSOCI インデックスの有無
![[アップデート]全 AWS Fargate 利用者必見！ Seekable OCI インデックスによりコンテナの起動が大幅に高速化するようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/985a83259a49c10c9fef990f42efc390ba711740/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-fargate.png)
AWS Fargate Enables Faster Container Startup using Seekable OCI | Amazon Web Services
AWS News Blog AWS Fargate Enables Faster Container Startup using Seekable OCI While developing with containers is becoming an increasingly popular way for deploying and scaling applications, there are still areas where improvements can be made. One of the main issues with scaling containerized applications is the long startup time, especially during scale up when newer instances need to be added.
AWS のサーバーレスと Amazon S3 署名付き URL、クライアントサイド JavaScript で大きなサイズの複数ファイルの一括アップロード・ダウンロード機能を実現する方法 | Amazon Web Services
Amazon Web Services ブログ AWS のサーバーレスと Amazon S3 署名付き URL、クライアントサイド JavaScript で大きなサイズの複数ファイルの一括アップロード・ダウンロード機能を実現する方法 はじめに 昨今のテクノロジーの進化は、これまで以上に、私たちがどのように働き、どのように生活するかを再定義しています。この進化の中心には、クラウドコンピューティングが存在しており、AWS はこれまで、クラウドコンピューティングのパイオニアとして、様々な機能を提供し続け、業界をリードしてきました。その機能群を支えるエコシステムの一部であるサーバーレスアーキテクチャは、スケーラブルで信頼性が高く、メンテナンスの作業負担が低いアプリケーションの開発を可能にし、ユーザーのビジネスやプロジェクトが円滑に進行するようサポートします。 AWS のサーバーレスの代表的なサービ
本記事は 初夏のAWSアワードエンジニア祭り 1日目の記事です。 🍦 告知記事 ▶▶ 本記事 ▶▶ 2日目 💻 尾澤です。 この度、2023 Japan AWS All Certifications Engineers に選ばれました。 更新が不安です。 というわけで今回はAWSアワードとかはあまり関係ないですが、 私が日頃業務で対峙するECSさんについてお話ししようかと思います。 ECSとは もう今となってはコンテナといえばこれというサービスですね。(?) 改めての説明ですが、 Amazon ECS（Elastic Container Service）は、AWSが提供するコンテナオーケストレーションサービスです。 Webサービスなどを構成する場合、コンテナ単体で動かすにはさまざまな運用課題があるため、 基本的にはオーケストレーションツール（ex: Kubernetes, e）を使いま
困っていること サーバーレス ETL 処理を実装予定です。AWS ではサーバーレス ETL 処理の可能なサービスが幾つかあるのですが、どれを選択すれば良いか解りません。判断可能な基準などあれば教えてください。 どう対応すればいいの? AWS では 参考資料 [1]（P9,41,42）記載の通り、軽量級タスクか、重量級タスクであるかを先ずは、サービス選択の判断ポイントにしています。 なお、今回はお困りの内容が「サーバーレス ETL 処理」の条件であるため、以下の AWS サービスが考えられます。 AWS Lambda AWS Glue（Python Shell, Apache Spark, Ray, DataBrew） (Amazon EMR) サーバーレス ETL 処理の使い分けにおいても、前途と同様に先ずはデータの規模やETL処理の中でやりたいことによって使い分けることで選定してください
AWS ECS(Elastic Container Service)-Fargateでコンテナを最速で(簡単に)立ち上げようというコンテナ入門の記事です。 以下のような方向けです。
初めに 昨日のアップデートでAWS Lambdaは実行結果の返却値を一括の応答ではなくストリーミングな徐々に応答するようなことが可能となりました。 いざ日本語に直そうとすると微妙に難しいタイトルで実際の公式の翻訳がどうなるか次第では少しタイトルを調整するかもしれません。 これまでの方式ではLambdaの機能としては処理完了まで返却値を返すことができず、そういった機能が必要な場合はWebSocket等別の手段をユーザ側で実装する必要がありました。 今回のアップデートではTransfer-Encoding: chunked形式による返却に対応しHTTP/1.1の仕様の範囲内で徐々に値を返却できるようになりました。 またこの方式は応答サイズの上限が従来の6MBではなく20MBまでの対応となるためより大きなレスポンスを返すことができるようです。 Configuring a Lambda funct
![[アップデート]AWS Lambdaでストリーミングな応答が可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4ea229c5864909168e5ad0a78416f2ea552c21f1/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-lambda.png)
Amazon ECSのタスクを常に新鮮に保つ仕組みをStep Functionsで - KAYAC engineers' blog
SREチームの藤原です。今回はAmazon ECSのサービス内のタスクを定期的に再起動することで、日々のメンテナンスコストを削減する話です。SRE連載 3月号になります。 3行でまとめ ECS Fargateのタスクは時々再起動が必要 人間が対応するのは面倒 Step Functionsを定期実行して常に新鮮なタスクに入れ換えて予防しよう ECS Fargateのタスクは時々再起動する必要がある ECS Fargateでサービスを運用していると、数ヶ月に一度ほどの頻度でこのようなお知らせがやってきます。 [要対応] サービス更新のお知らせ - AWS Fargate で実行されている Amazon ECS サービスの更新が必要です [Action Required] Service Update Notification - Your Amazon ECS Service Running
はじめに こんにちは。ML・データ部MLOpsブロックの築山（@2kyym）です。 MLOpsブロックでは2022年の上期からArgo CDの導入に着手しました。本記事ではArgo CDの導入を検討した背景から導入のメリット、また導入における公式マニフェストへの変更点や、運用において必須である認証や権限管理など、具体的な手順についてご紹介します。少しでもArgo CDの導入を検討している方の助けになれば幸いです。 またArgo CDを導入するきっかけとなった、複数運用していたKubernetesクラスタを1つに集約するマルチテナントクラスタへの移行についても触れます。マルチテナントクラスタの設計や具体的な移行作業については述べると長くなってしまうため、詳細については改めて別の記事にてご紹介できればと思います。 Argo CDについては、昨年の計測SREブロックの記事でも触れられていますので
驚くべき完成度！AWSでサーバレスAPIの作成をChatGPTに頼んだ結果〜AWSエンジニアの役割が変化する?!〜 - Qiita
驚くべき完成度！AWSでサーバレスAPIの作成をChatGPTに頼んだ結果〜AWSエンジニアの役割が変化する?!〜AWSCDKChatGPT記事投稿キャンペーン_ChatGPTGPT-4 はじめに ChatGPTがリリースされて日々、会話しては衝撃を受けています。 現在AWSエンジニアとして働いていますが、自分たちの働き方も大きく変わるのでは？！と感じて色々ChatGPTの使い方、自分達の働き方を模索しています。 AWSでのサーバレスAPIの作成をChatGPTに依頼たらどうなるのか？ という事を現時点（2023/3/19のGPT-4)のChatGPTで試しながら、結果を元に自分たちの働き方がどう変わるのか考えてみたいと思います。 ChatGPTとは ChatGPTとは、OpenAIが開発した大規模な言語モデルです。 自然言語処理の能力が非常に高く、チャットベースで依頼・質問する事で質問応
はじめに 最近、プロジェクトで運用回りの設計を行う機会があったので、その際に学習したことをまとめました。AWSのLambdaなどを使っている方でロギングに興味があるけど、まだ良く理解できていないという方のためになれば幸いです。ここではサーバレス環境でのロギングの基本について解説しています。 また、監視に関した記事も投稿していますので、そちらも興味がございましたら一読下さい。 ログ戦略 マイクロサービスの場合、ログ戦略がとても重要になってきます。 マイクロサービスは複数のサービスから構成されているため、ログ戦略を間違えると調査が困難になり得るからです。ただし、AWSの場合は何でもかんでもログを出力するのは間違いです。標準的なログ出力機能を備えているサービスも多いため、重複が多くなりコスト増につながります。つまり、適切なログのみを出力する必要があります。 Lambdaのログ戦略 開発環境と本番
Python で RDS に格納されている各種ログをダウンロードする - 継続は力なり
タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウンロードし,S3 などにアップロードしていけばコスト削減に繋がりそうです.この記事では,ダウンロードを Python でやってみた内容をまとめていきます. aws.amazon.com Python で RDS ログダウンロードのための手段 DownloadCompleteLogFile でのログダウンロードを試してみる まとめ Python で RDS ログダウンロードのための手段 boto3 のドキュメントを見てみたらログダウンロードをするのに, download_db_log
ChatGPTのAPIがオープンになったのでSlackに分身を配置した話 - Money Forward Developers Blog
※飯テロを要求する社員と飯テロするbotと飯テロにダメだしする社員戯画 ご機嫌よう、世界 なんかもう最近は猫も杓子もChatGPTじゃないですか？ 僕みたいに自然言語処理をかじっていると、社内外問わずいろんな人から「ChatGPT、どうっすか」と まるで宗右衛門町の客引きのように 声をかけられます どうもこうも、それはそれでしょう、そもそもあの子のベースになっているGPT-3.5は単純にパラメータ数がｒｙ ChatGPTのAPIがついにオープンになったのでSlack botを早速導入する ※とんでもない嘘をつくChatGPT図絵 どうもCTO室AI推進部とグループ会社HiTTOで 二股 兼務中の@ken11です。 いや今回の話は非常にシンプルで掲題の通りなんですが、冗談抜きで社内外問わずChatGPTに対する強い興味と関心のお声を頂戴しており、せっかくなのでAPIが使えるようになったならみ
AWS Fargate/Fargate Spotのハイブリッド利用をCDKで実装したら料金が半額になった話 - Uzabase for Engineers
こんにちは。NewsPicksのWeb Reader Experience Unitで学生インターンをしている西（@yukinissie）です。 昨年の 9 月までSREチームに所属しており、その頃にNewsPicksの全ての常駐バッチサーバーをAWS CDKを用いてAWS FargateとAWS Fragate Spotを併用するようにさせましましたのでコストの変化や工夫した点についてご紹介します。 AWS Fargate Spotとは？ 実際どれくらいのコストを削減できたか 0. ECSコンテナ化 1. 使用量はほぼ横ばい 2. Fargate Spotの適用 3. コストが約47％削減！！！ AWS CDKでAWS Fargate Spot機能を適用する際に工夫したこと 課題 解決策 FargateとFargate Spotの併用 キャパシティープロバイダー戦略を自動で決定するIaC
はじめに 「AWSにコンテナをデプロイして稼働させたい！」 と思っている方は多いかと思います。 ただ、「理解ができん」「むずくね？」と挫折する人がいます。 ポイントを抑えれば、簡単と言うことをこの記事ではお伝えしたいと思います。 今回の記事は、AWS Fargateの 「 Hello World !」 と思っていただけたらと思います。 この記事の対象者 Fargateを勉強したい方 Fargateに興味ある方 ※初心者向けです 本題 1. 事前知識 マネージコンソールで操作をする前に以下を理解してから始めましょう。 ★コントロールプレーン & データプレーン まずは、ここの理解が必要です。Fargateを調べていると "ECS"やら "EKS"が出てきて混乱してしまします。その部分の整理をまずはしましょう。コンテナを運用していくにあたり、「コントロールプレーン」と「データプレーン」の2つに
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fargate Spotを本番運用するための監視の実践 - KAYAC engineers' blog
AWS CDKでECS Fargate Bastionを一撃で作ってみた | DevelopersIO
プライベートの時間は極力削らない。Kubernetesエキスパート青山真也氏のコスパ最高な情報収集術
AWSコンテナ系アーキテクチャの選択肢を最適化する | 外道父の匠
Amazon ECS and AWS Fargate now integrate with Amazon EBS
AWS Lambdaのスケール速度が最大12倍速に。10秒ごとに1000回の同時実行回数でスケール
AWS Lambda でも Rails で Web 開発 - エムスリーテックブログ
AWS Lambda×Fargate×PlanetScaleを組み合わせれば、超絶スケールするWebアプリを作れる 約2ドルから作れる“ニッチで俺得な”環境の布教
踏み台にはECSコンテナを。～ログイン有無を検知して自動停止させる～ - NRIネットコムBlog
AWS Fargate タスクのリタイア通知による運用の可視性の向上 | Amazon Web Services
ECSサービスの設計ポイントをざっくりまとめてみる - NRIネットコムBlog
サーバーレス ETL 処理の使い分けを教えてください | DevelopersIO
【AWS ECS入門】Fargateでコンテナを5分で立ち上げてみる
[アップデート]AWS Lambdaでストリーミングな応答が可能になりました | DevelopersIO
MLOpsマルチテナントクラスタへのArgo CDの導入と運用 - ZOZO TECH BLOG
AWSサーバーレス環境でのロギング - Qiita
【初心者必見】AWS Fargate の使用方法徹底解説 - Qiita