How an empty S3 bucket can make your AWS bill explode
Update AWS started investigating the issue: https://twitter.com/jeffbarr/status/1785386554372042890 Imagine you create an empty, private AWS S3 bucket in a region of your preference. What will your AWS bill be the next morning? A few weeks ago, I began working on a PoC of a document indexing system for my client. I created a single S3 bucket in the eu-west-1 region and uploaded some files there fo
MFA認証を使ったAssumeRoleでシンプルにTerraformを実行する(aws configure export-credentials) | DevelopersIO
MFA認証を使ったAssumeRoleでシンプルにTerraformを実行する(aws configure export-credentials) Terraform実行時のMFA認証を使ったAssume Roleを楽にできる方法がないか調べていたら、以下のコメントを見つけました。 Doesn't ask MFA token code when using assume_role with MFA required #2420 どうやらツールや長いコマンドの実行なしで、MFA認証ありでも簡単にAssume Roleができそうです。 便利だったのでブログにしてみました。 TerraformのMFA認証事情は以下のブログをご確認ください。 結論 この方法では、aws-vaultやaws-mfaなどのツールは不要です。 以下のようにProfileを用意して、terraformのコマンドを打つだけ
Idempotency-Keyヘッダによるマイクロサービスの冪等性の担保 - エムスリーテックブログ
こちらはエムスリー Advent Calendar 2023の15日目の記事です。 デジスマチームの田口です。 去年のアドベントカレンダーでイベント駆動アーキテクチャの記事を書きましたが、ありがたいことにデジスマ診療のサービスとしての成長も著しく、開発も一層活発になっています。 去年と比較してどれくらいスケールしたかはCTOでありデジスマPdMでもある山崎さんがpmconf 2023で発表した資料にもあるので、興味がある方は是非ご覧ください。 speakerdeck.com 本記事では去年の記事でも少し触れた「冪等性」について、デジスマチームでの考え方・実装についてまとめます。 なぜ冪等性が重要か Idempotency-Key ヘッダ デジスマでの実装 おわりに We are hiring!! なぜ冪等性が重要か デジスマ診療（以降デジスマ）はQRコードによるチェックインや自動後払い、オ
AWS::ApiGateway::Stage と AWS::ApiGateway::Deployment の違い - suzuki-navi’s blog
CloudFormationでAPI Gatewayを作成する際の AWS::ApiGateway::Stage と AWS::ApiGateway::Deployment の役割分担というか違いがよくわからないまま、適当なサンプルを使いまわして雰囲気で使っていたのですが、やっとわかってきたので、メモです。 AWS::ApiGateway::Stage ステージを表す。ステージはAPI Gatewayに複数ありえる。典型的には本番環境と検証環境の2つ ステージだけが存在してデプロイがないとAPIは機能しない DeploymentId プロパティで AWS::ApiGateway::Deployment を参照することでデプロイとステージが紐づく AWS::ApiGateway::Stage - AWS CloudFormation AWS::ApiGateway::Deployment ス
Controlling concurrency in distributed systems using AWS Step Functions | Amazon Web Services
AWS Compute Blog Controlling concurrency in distributed systems using AWS Step Functions This post is written by Justin Callison, Senior Manager, AWS Step Functions. Distributed systems allow you to evolve components of your application independently and scale your application more easily. They can combine existing services together to make your application more powerful. Your development teams ca
Amazon Kendra と ChatGPT で RAG を実現する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 今回は Amazon Kendra と OpenAI ChatGPT を組み合わせてRAGシステムを構築してみます。 RAG とは Retrieval Augmented Generation （検索拡張生成） の略で、 ChatGPT に代表される LLM （大規模言語モデル）でユーザの質問への回答を生成する際に必要な情報（コンテキスト）を事前に検索などを通して取得してから、 コンテキストを踏まえた回答を生成する手法のことです。 言い換えると、RAG は検索そのものの処理ではなく、検索結果を解析し、その内容を分かりやすく要約するものです。 RAG を使用することで、
RDS Proxyを用いたオンラインスイッチオーバーによるMySQLのアップグレードについて - freee Developers Hub
おはこんばんちは、DBREの橋本です。 今回は、Amazon RDS Proxy（以降RDS Proxyとよぶ）を用いたRDS for MySQLインスタンスおよびAurora MySQLクラスタのオンラインスイッチオーバーの手法について、ある程度社内での運用が確立してきましたので解説いたします。 従来のアップデート手法 AWS上でRDS for MySQLインスタンスやAurora MySQLクラスタ（以降これらをデータベースとしてまとめてよぶ）を運用している場合、それらのエンジンバージョンの更新を行ったり、OSバージョンの更新に伴う再起動を実施する必要があります。これらの更新を行う場合、以下のような方法が考えられます。 対象のデータベースに直接更新を適用する スナップショットを作成し、更新済みのデータベースとして復元する 更新済みの空のデータベースを新規作成し、そちらにデータを移行し、
「AWSとGitHubを用いたパターン別CI/CD構成解説」というテーマのビデオセッションで話しました #devio2023 | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です! 現在 DevelopersIO 2023の一環として、YouTube でのビデオセッションが公開されています。 今回私の方では、「AWSとGitHubを用いたパターン別CI/CD構成解説」というタイトルで投稿しました。 概要 AWS基盤でCI/CD構成を作りたいが、どのようなサービスを組み合わせて作るべきだろうか？ 特にCI/CDに関する有名なサービスとして、AWSのCodeシリーズとGitHubがあるが、両者の使い分けはどのようにすれば良いだろうか？ そんなお悩みをすっきり解決するため、様々なパターンを想定したCI/CD構成をまとめて解説します。 動画 スライド 参考サイト ECS用のCDパイプラインに対する考察 CodeDeploy / GitHub Actions｜Rails × CloudFormation ハンズオン A
持続可能な AWS インフラストラクチャの最適化、第四部：データベース編 | Amazon Web Services
Amazon Web Services ブログ 持続可能な AWS インフラストラクチャの最適化、第四部：データベース編 このブログは Otis Antoniou, Ibtehaj Ahmed, Darren Ko, Ceren Tahtasiz によって執筆された内容を翻訳したものです。原文はこちらを参照して下さい。 このシリーズの第一部：コンピュート編、第二部：ストレージ編、第三部：ネットワーキング編では、持続可能性のために AWS アーキテクチャのコンピュート、ストレージ、ネットワーキングレイヤーを最適化するための戦略を紹介しました。 この投稿、第四部では、データベースレイヤーに焦点を当て、データベースの使用率、パフォーマンス、およびクエリを最適化するための推奨事項を提案します。これらの推奨事項は、AWS Well-Architected Framework のサステナビリティ（持続
EKS環境下でコストが増大する事例とfreeeのアプローチ - freee Developers Hub
はじめまして。freee の SRE チームに所属している nkgw （Twitter） です。 普段はエンジニアリングマネージャーをしつつ、開発チームの新規プロダクトリリースサポートをやっています。 我々のチームは大部分のプロダクトのコンピューティングリソース (CPU / Memory など) を Amazon Elastic Kubernetes Service (EKS) で実行できるようにインフラ基盤移行 (EC2 → EKS) を進めてきました。 移行プロジェクトの大部分は 2021 年 7 月に無事終わったのですが、移行スケジュールを最優先としたため割り当てている各リソースはかなり保守的 & 過剰でした。 (移行後の性能劣化が怖かったため、EC2 時代と比較し、1.5 倍のバッファを積むなど... etc) コスト増大したグラフ その結果、 去年と比較して、コストが倍以上に跳
AWS、アプリケーション内できめ細かなアクセス制御を実現するポリシー言語「Cedar」と認可エンジンをオープンソースで公開
AWS、アプリケーション内できめ細かなアクセス制御を実現するポリシー言語「Cedar」と認可エンジンをオープンソースで公開 Amazon Web Services（AWS）は、アプリケーション内できめ細かなアクセス制御を実現するポリシー言語「Cedar」と、Cedarに対応した認可エンジンをオープンソースで公開したことを発表しました。 CedarはAmazon Verified Permissionsで使われている言語 Cedarは昨年（2022年）末に開催されたイベント「AWS re:Invent 2022」で発表された新サービス「Amazon Verified Permissions」（現在プレビュー中）で使われているポリシー言語です。 一般にクラウドで提供されるアプリケーションのほとんどは、例えば管理者のみ参照できる画面やデータ、ユーザー本人のみ可能な操作や参照可能なデータ、ユーザー
Terraform の CI を AWS CodeBuild から GitHub Actions + tfaction に移行しました - スタディサプリ Product Team Blog
こんにちは。 SRE の @suzuki-shunsuke です。 Terraform の CI を AWS CodeBuild (以下 CodeBuild) から GitHub Actions + tfaction に移行した話を紹介します。 これまでの Terraform Workflow (CodeBuild) 弊プロダクトの Terraform の CI に関しては過去の記事でも何度か紹介していますが、 元々 CodeBuild 上で CI を実行していました。 かつては CircleCI 上で実行していましたが、 CodeBuild に移行しました。 blog.studysapuri.jp CodeBuild に移行した理由は大きく 2 つありました。 Security 永続的な Access Key を発行することなく AWS のリソースを管理できる GCP に関しても Wor
AWS上で開発環境一式、コードリポジトリからテンプレートコード、IDE、CI/CDパイプラインまでを丸ごと提供する「Amazon CodeCatalyst」が正式サービスに
AWS上で開発環境一式、コードリポジトリからテンプレートコード、IDE、CI/CDパイプラインまでを丸ごと提供する「Amazon CodeCatalyst」が正式サービスに Amazon Web Services（AWS）は、クラウド上でアプリケーションの初期コード、インフラ設定、ソースコードのリポジトリ、コードエディタ、ビルド／テスト／デプロイを実行するCI/CDパイプライなど、アプリケーションの初期設定から開発、デプロイ、そしてチームコラボレーション機能の一式をまとめて提供するサービス「Amazon CodeCatalyst」の正式サービス化を発表しました。 参考：［速報］AWS上で開発環境一式、フレームワーク、初期コード、IDE、ビルド環境、CI/CDなど提供する「Amazon CodeCatalyst」発表。AWS re:Invent 2022 複雑で手間がかかるクラウド開発環境を
Amazon ECSのタスクを常に新鮮に保つ仕組みをStep Functionsで - KAYAC engineers' blog
SREチームの藤原です。今回はAmazon ECSのサービス内のタスクを定期的に再起動することで、日々のメンテナンスコストを削減する話です。SRE連載 3月号になります。 3行でまとめ ECS Fargateのタスクは時々再起動が必要 人間が対応するのは面倒 Step Functionsを定期実行して常に新鮮なタスクに入れ換えて予防しよう ECS Fargateのタスクは時々再起動する必要がある ECS Fargateでサービスを運用していると、数ヶ月に一度ほどの頻度でこのようなお知らせがやってきます。 [要対応] サービス更新のお知らせ - AWS Fargate で実行されている Amazon ECS サービスの更新が必要です [Action Required] Service Update Notification - Your Amazon ECS Service Running
散らばったAWS LambdaのGitHubリポジトリをモノレポ構成にしてメンテナンスコストを削減する - クラウドワークス エンジニアブログ
初めまして。crowdworks.jpのSREチームに所属しています @ciloholic です。 入社してかれこれ1年経ちますが、筆を執る機会がなかったため、今回が初エンジニアブログとなります。 この記事では、入社して3か月ほど行なっていた「AWS Lambda周りのメンテナンスコスト削減」の取り組みを紹介していきます。 背景 crowdworks.jpでは、多くのエンジニアがさまざまなGitHubリポジトリに色々な言語でLambdaを活用してきました。GitHubリポジトリは30個以上、使用言語はNode.js / Ruby / Goとさまざま、CI/CDもCircleCI / GitHub Actionsとバラバラです。 SREチームでは、定期的に各種言語のEOL対応やライブラリのアップデート作業を行なっているのですが、GitHubリポジトリもそれぞれ異なる、使用言語もCI/CDもバ
AWSのAZ間レイテンシを測定してみた(2023年東京/大阪)
TL;DR 東京リージョンを利用する際に2AZの冗長化で良い場合のAZ選定 「apne1-AZ1, apne1-AZ2」の組み合わせで利用するのが、レイテンシ観点からは良い。 レイテンシ: 800μs程度 大阪リージョンを利用する際に2AZの冗長化で良い場合のAZ選定 「apne3-AZ1, apne3-AZ2」の組み合わせで利用するのが、レイテンシ観点からは良い。 レイテンシ: 200μs程度 東京リージョンの方がAZ間レイテンシが平均的に高い(大阪リージョンと比較して) 大阪リージョンの方がAZ間レイテンシが平均的に低い(東京リージョンと比較して) おことわり この記事は注意を払って記載しておりますが、測定結果を利用して生じた一切の責任は負いません。 実際に測定を行いたい方はGitHubに今回測定を行った環境を再現できるTerraform(IaC)がありますので、ご参考になれば幸いです
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - awslabs/llrt: LLRT (Low Latency Runtime) is an experimental, lightweight JavaScript runtime designed to address the growing demand for fast and efficient Serverless applications.
AWS Prescriptive Guidance Patterns - AWS Prescriptive Guidance
2023年12月5日に発生した複数AWSアカウントが操作不能となった障害について | クラスメソッド株式会社
30分で理解する、AWS の WEB Front-end Strategy / Serverless Front-end Strategy
