Amazon RDS ブルー/グリーンデプロイを利用してMySQLのアップグレードをした話 - Pepabo Tech Portal
こんにちは。技術部プラットフォームグループのharukinです。 この記事では、私たちが提供するネットショップ作成・運用のためのECプラットフォーム「カラーミーショップ」のデータベースを、Amazon RDSのブルー/グリーンデプロイを利用し、MySQLのバージョン5.7.38から8.0.35へアップグレードした経験についてご紹介します。カラーミーショップにおいてはこれが初の試みでした。Amazon RDS固有のファーストタッチレイテンシーの解除方法や、ダウンタイム時間の計測についてもお伝えします。 Amazon RDSのブルー/グリーンデプロイを活用するメリットは、本番環境に準ずるステージング環境を構築し事前検証が可能であることです。ステージング環境は約1分で本番環境に昇格させることができ、昇格時に許容ダウンタイムを超えたり、レプリケーションやインスタンスの問題が生じた場合は、自動的にプ
Amazon S3 will no longer charge for several HTTP error codes
Amazon S3 will make a change so unauthorized requests that customers did not initiate are free of charge. With this change, bucket owners will never incur request or bandwidth charges for requests that return an HTTP 403 (Access Denied) error response if initiated from outside their individual AWS account or AWS Organization. To see the full list of error codes that are free of charge, visit Billi
フロントエンドから Amazon S3 にマルチパートアップロードしたい - カミナシ エンジニアブログ
はじめに Presigned URL（*) などで、Amazon S3 へのアップロード処理を実装していると、大きなサイズのファイルをアップロードしようとしたときに、以下のような課題に直面することがあります。 一回のPUT リクエストでアップロードできるサイズの上限が 5GB まで 単一の HTTP リクエストでアップロードするため、大きなサイズをアップロードしようとしたときに問題が起きる。例えば、アップロードの処理の途中で失敗したとき、最初からやり直しになる。 このようなときに活用したいのが、マルチパートアップロードです。マルチパートアップロードとは、その名の通り、アップロード対象のオブジェクトを小分けにしてアップロードする方法です。 AWS の SDK には、マルチパートアップロードが簡単に行えるような API が用意されているものの、多くは、S3 にアップロードを行うことができる I
AWS Configのコストを95%削減しつつ記録を残すことを諦めない - Nealle Developer's Blog
はじめに SREチームの大木( @2357gi )です。 ECS Serviceのオートスケーリングやバッチなど、ECS Taskの起動停止が頻繁に行われる環境でAWS Configを有効にしていると、AWS Configのコストが無邪気に跳ね上がってしまうことがあります。 インターネット上では特定のリソースを対象外にすることによりコストを抑える手法が多くの記事として見かけますが、対象外にするとAWS Config側で「リソースタイムラインの表示」ができなくなったり、Security hubで使用する情報の記録を行うことができなくなってしまいます。 そこで、特定のリソースを「記録から除外」するのではなく、「日時記録に設定」することにより前述した懸念点を解消しつつ、コスト削減をすることができたので紹介します。 経緯 我々のプロダクトでもサービスのスケールや機能拡大に伴い AWS Config
【2024年】AWSアカウントの rootユーザーでしかできないことをまとめてみた | DevelopersIO
こんにちは！AWS事業本部のおつまみです。 みなさん、rootユーザーでしかできない操作を知りたいと思ったことはありますか？私はあります。 rootユーザーとは、AWSアカウントを作成した際に自動的に付与される最も権限の高いユーザーアカウントのことです。 rootユーザーには特別な権限があり、一般ユーザーアカウント(IAMユーザー)ではできない操作が可能です。 しかし、rootユーザーだと非常に強い権限を持っているので、基本的にAWSを利用する際はIAMユーザーを利用することがベストプラクティスとされています。 AWS アカウントのルートユーザーのベストプラクティス - AWS Identity and Access Management rootユーザーの認証情報が必要なタスクがある場合を除き、AWS アカウントのrootユーザーにはアクセスしないことを強くお勧めします。 また弊社AWS
CloudWatch Logsのロググループ名とログストリーム名の命名規則を一部のAWSサービスに限りまとめてみた | DevelopersIO
はじめに マルチアカウント構成において、アカウント発行後にCloudFormationを使ってアカウントのベースライン(セキュリティ、ネットワーク、ログ等)を構築することがよくあります。 その際、AWSサービスごとに1つのロググループをベースラインで作成するか、メンバーアカウント側で必要に応じてロググループを作成するかを検討する必要があります。 1つのロググループに複数のリソースのログを集約する方法と、リソースごとにロググループを作成する方法には、それぞれメリットとデメリットがあります。 1つのロググループを集約する メリット 管理するリソースが減る 手動で作成する手間が減る ログをクエリする際、関連するログが1つのロググループにまとめられていると効率的になることがある デメリット １秒間のログイベント書き込みには制限があるため、エラーになる可能性がある 各リソースごとに識別できるログスト
AWS CDK公式の機能でACMとCloudFrontのクロスリージョン参照を実装する | DevelopersIO
AWS CDKの公式機能でクロスリージョン参照が可能になりました（exprementalな機能です）。ACMとCloudFrontをクロスリージョン参照して構築してみたので、ソースを共有します。 AWS CDKでクロスリージョン参照できなくて、悔しい思いをしたことはありませんか？ 私はよくあります。 そんなときはcdk-remote-stackパッケージを利用すると解決できており、以前ブログも書きました。 AWS CDK（cdk-remote-stack）でACMとCloudFrontのクロスリージョン参照を実装する | DevelopersIO ところが、いつの間にかAWS CDK公式でクロスリージョン参照できるようになっていました！（2023/10/05時点では、まだexperimentalな機能です） aws-cdk-lib module · AWS CDK 以前のブログ同様、次の図
AWS IAM PolicyのForAllValuesを勘違いしてた件 - LayerX エンジニアブログ
LayerX Fintech事業部（※）で、ガバナンス・コンプラエンジニアリングをしている 鈴木 (@ken5scal )です。 ※三井物産デジタル・アセットマネジメントに出向しています。 今回は、AWS IAMポリシーの条件における「ForAllValues」の仕様を誤って理解していたことから、安全でないアクセス制御を実装していたという内容です。もし同様の勘違いをされている方がいたら参考になれば幸いです。 ユースケース AWS IAMユーザーを、ロールの trust policy がユーザーのタグで制御するケースで考えます。 具体的には、「Group A あるいは Group B」に所属し、且つ「Admin」権限のあるユーザーのみが行使できる役割「AdminABRole」があるとしましょう。 この場合、Group と Admin のタグが存在し、下記のようなパターン（※）が考えられます。
空のS3バケットでAWSの請求額が爆発的に増加するとの指摘、Amazonはさっそく問題に対処すると発表
AmazonのクラウドコンピューティングサービスであるAWSが提供するストレージサービス・Amazon S3では、写真や動画などのデータをアップロードするためにバケットを作成する必要があります。このS3バケットを空の状態にしていると、AWSの請求額が爆発的に増加してしまうという問題を、ソフトウェアエンジニアのMaciej Pocwierz氏が報告しました。 How an empty S3 bucket can make your AWS bill explode | by Maciej Pocwierz | Apr, 2024 | Medium https://medium.com/@maciej.pocwierz/how-an-empty-s3-bucket-can-make-your-aws-bill-explode-934a383cb8b1 Pocwierz氏はクライアント向けに作成
VPCサブネットの「パブリック IPv4 アドレスを自動割り当て」設定のあり・なしを検証したら、どちらもパブリックIPv4アドレスが割り当てられた | DevelopersIO
VPCサブネットの「パブリック IPv4 アドレスを自動割り当て」設定のあり・なしを検証したら、どちらもパブリックIPv4アドレスが割り当てられた はじめに こんにちは。AWS事業本部コンサルティング部に所属している和田響です。 今回はVPCサブネットの「パブリック IPv4 アドレスを自動割り当て」設定について、その内容をまとめつつ挙動を確認してみました。 「パブリック IPv4 アドレスを自動割り当て」とは？ 「パブリック IPv4 アドレスを自動割り当て」とはEC2インスタンスに対して、パブリックIPv4アドレスを割り当てる際に設定が必要になるVPCサブネットの設定です。 特に何も設定しなければデフォルトサブネットではtrueに設定され、それ以外のサブネットではfalseに設定されます。 デフォルトでは、デフォルト以外のサブネットでは IPv4 パブリックアドレス属性が false
AWS入門ブログリレー2024〜AWS IAM Access Analyzer編〜 | DevelopersIO
コンバンハ、千葉（幸）です。 当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』の33日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合いいただければ幸いです。 では、さっそくいってみましょう。今回のテーマは『AWS Identity and Access Management (IAM) Access Analyze
リクルートが『スタディサプリ』で Amazon Aurora Serverless v2 を採用。コストを最適化しつつ Aurora の管理工数を大幅削減 | Amazon Web Services
Amazon Web Services ブログ リクルートが『スタディサプリ』で Amazon Aurora Serverless v2 を採用。コストを最適化しつつ Aurora の管理工数を大幅削減 株式会社リクルートは、日本国内のHR・販促事業及びグローバル斡旋・販促事業をおこなう事業会社です。リクルートでは、『スタディサプリ』というスマートフォンアプリ、パソコンで利用可能なオンライン学習サービスのデータベースとして Amazon Aurora PostgreSQL を採用しています。 2023 年 5 月にこの Aurora PostgreSQL を Aurora Serverless v2 に変更しました。採用検討から 1.5 ヶ月と短期間で導入を決定しましたが、入念な検証の結果 Aurora の運用負荷を大幅に削減し、サービスの安定運用も実現しています。本ブログは、『スタディサ
大規模サービスのインフラを全面的にリプレイスした話 - Qiita
はじめに こんにちは。雑食系エンジニアの勝又です。 今回は、私が2年ほど参画させていただいた大規模サービスのインフラやDevOps周りを全面的にリプレイスしたお話について簡単にご紹介させていただきます。(内容に関しては事前に参画先企業様に確認していただいております) サービス概要 詳細な内容は伏せますが、メインとなるテーブルのレコード数が数十億件、スパイク時には数万〜数十万のユーザーが一斉にアクセスする大規模サービスです。 技術的負債 長く運用されてきたサービスのあるあるですが、新機能の追加が最優先されてきたことにより、こちらのサービスにも下記のような技術的負債が大量に積み上がっていました。 RubyやRailsやMySQLのバージョンがかなり古い インフラの構成がコードではなくドキュメントで管理されている アプリケーションの構成管理がおこなわれていない CI/CDパイプラインが構築されて
AWS CDK と ecspresso の組合せで AutoScaling までうまいことやる
CDK大好きちゃちいです。こんにちは。 これまではECS(Fargate)のデプロイもCDKで行っていたんですが、依存やら時間やらが気になるため、ecspressoを組み合わせてみたのですが、AutoScalingで躓いたのでその解決までの記録です もし、もっといいやり方があるぞ！！という場合はお知らせください… 2023/08/10 時点 構成 Fargate クラスタはCDK、サービスとタスクはecspressoでデプロイしたい AutoScalingはややこしいのでCDKで定義したい インフラ構築リポジトリ (AWS CDK) CloudFront, Fargateクラスタ, ECR その他諸々を構築 ecspressoでデプロイするために SSM Parameter Store に必要な情報を出力する アプリケーションリポジトリ Dockerコンテナで実行 こちらからインフラ構築リ
AWS、大型トラックでデータセンターのデータを吸い上げる「AWS Snowmobile」がサービス終了に
AWS、大型トラックでデータセンターのデータを吸い上げる「AWS Snowmobile」がサービス終了に AWSが2016年に発表した、100ペタバイトのストレージを備えたトラックで顧客のデータセンターからデータを吸い上げるAWS Snowmobileのサービスが終了したことが明らかになりました。 米CNBCの取材に対してAWSの広報がサービスが終了したことを認めました。 AWS stops selling Snowmobile truck for cloud migrations - CNBC 現時点でクラウドへのデータ転送を物理デバイスで行う「AWS Snow」ファミリーのサービスには、AWS SnowconeとAWS Snowballの2つのデバイスがリストされていますが、AWS Snowmobileの名前はすでに消えていました。 エクサバイト級のデータ転送のために登場したAWS S
TerraformとAWS CDKのplan(diff)の挙動が違って戸惑った話
はじめに こんにちは、Web アプリケーションエンジニアの keyamin です。 自分は IaC がけっこう好きで仕事でも書くことが多く、前職で 1 年弱 Terraform を使っていましたが昨年 11 月に転職してからは AWS CDK を勉強しています。 その際に Terraform の plan コマンドと CDK の diff コマンドの挙動の違い、またドリフトの扱いの違いで戸惑った部分があったので、検証・考察してみました。 TL;DR Terraform の plan コマンドでは、実行時に state ファイルに記載されているインフラリソースの実際の設定を確認しに行き、ドリフトが発生してたらそれも含めてコードの状態に上書きするような計画を出力する。apply コマンドではそれをそのまま実行する。 CDK の diff コマンドや CloudFormation の変更セットで
MFA認証を使ったAssumeRoleでシンプルにTerraformを実行する(aws configure export-credentials) | DevelopersIO
MFA認証を使ったAssumeRoleでシンプルにTerraformを実行する(aws configure export-credentials) Terraform実行時のMFA認証を使ったAssume Roleを楽にできる方法がないか調べていたら、以下のコメントを見つけました。 Doesn't ask MFA token code when using assume_role with MFA required #2420 どうやらツールや長いコマンドの実行なしで、MFA認証ありでも簡単にAssume Roleができそうです。 便利だったのでブログにしてみました。 TerraformのMFA認証事情は以下のブログをご確認ください。 結論 この方法では、aws-vaultやaws-mfaなどのツールは不要です。 以下のようにProfileを用意して、terraformのコマンドを打つだけ
AWS のマルチアカウントにおける Security Hub の運用は Central configuration を使おう - カミナシ エンジニアブログ
どうもこんにちは西川です。AWS Community Builder に選ばれたからにはAWSのこともアウトプットしなきゃということで、今日は Security Hub の Central configurationの素晴らしさをお伝えしたいと思います。 Security Hub 運用の課題と Central configuration Cental configuration は re:Invent 2023 で発表された機能で、実は最近までこの機能が追加されていたことに西川は気づいておりませんでした（汗） でも、この機能はSecurity Hubを運用していくうえでは欠かせない機能で、それはなぜかというと、Automation rules では、OU単位だったり、アカウントについているタグ等を判別してルールを書くことができないのですが、AWSアカウントをOrganization管理して
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IaCからAWSに入門した初心者が CloudFormationを通して考えた「AWS操作」の使い分け
VS CodeでAWSを操作しよう
