AmazonのクラウドコンピューティングサービスであるAWSが提供するストレージサービス・Amazon S3では、写真や動画などのデータをアップロードするためにバケットを作成する必要があります。このS3バケットを空の状態にしていると、AWSの請求額が爆発的に増加してしまうという問題を、ソフトウェアエンジニアのMaciej Pocwierz氏が報告しました。 How an empty S3 bucket can make your AWS bill explode | by Maciej Pocwierz | Apr, 2024 | Medium https://medium.com/@maciej.pocwierz/how-an-empty-s3-bucket-can-make-your-aws-bill-explode-934a383cb8b1 Pocwierz氏はクライアント向けに作成
アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入してみてわかったメリット・デメリット - ANDPAD Tech Blog
こんにちは。SREチームの吉澤です。 アンドパッドでは最近、AWSのS3バケット上のファイルをスキャンするために、アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入しました。その結果、私たちの要件はほぼ全て満たされたうえに、従来比で大幅なコスト削減を実現できました。 Antivirus for Amazon S3について日本語で書かれた記事はまだ少ないですが、S3に対するウイルススキャンが求められるケースでは、導入を検討する価値があるソフトです。 そこで、今回はこのAntivirus for Amazon S3の概要、私たちが本番環境に導入してみてわかったメリットやデメリット、そしてこのソフトが適した状況をご紹介します。 背景 S3に対するウイルススキャンが必要な理由 Antivirus for Amazon S3の導入前に利用していたソフト Antiv
S3 is files, but not a filesystem March 2024 "Deep" modules, mismatched interfaces - and why SAP is so painful My very own "object store" Amazon S3 is the original cloud technology: it came out in 2006. "Objects" were popular at the time and S3 was labelled an "object store", but everyone really knows that S3 is for files. S3 is a cloud filesystem, not an object-whatever. I think the idea that S3
パブリック・プライベートを問わず、AWSのストレージサービスであるS3のバケット名からアカウントIDを突き止める方法をセキュリティ企業「Tracebit」のCTOであるサム・コックス氏が公開しました。 How to find the AWS Account ID of any S3 Bucket https://tracebit.com/blog/2024/02/finding-aws-account-id-of-any-s3-bucket/ コックス氏の方法はS3のVPCエンドポイントを使用することでVPCエンドポイントポリシーを適用するのがポイントとのこと。ポリシーで「アカウントIDが1で始める場合のみ許可」などアカウントIDに基づいて許可を行う事で、ポリシーレベルでの拒否が発生するかどうかをチェックします。 具体的な方法は下記の通り。 まず最初にターゲットとなるバケットのリージョンを
Amazon S3 へのファイルアップロードで POST Policy を使うと、かゆいところに手が届くかもしれない - カミナシ エンジニアブログ
はじめに こんにちは。カミナシでソフトウェアエンジニアをしている佐藤です。 みなさんは、アプリケーションのフロントエンドから、Amazon S3 にファイルをアップロードするときに、どのような方法を用いているでしょうか？ 「バックエンドのサーバーにファイルを送信し、バックエンドのサーバー経由で S3 にアップロードしている」「Presigned URL を払い出して、フロントエンドから直接 PUT している」など、いくつかの方法があると思います。 弊社で提供しているサービス「カミナシレポート」でも、用途に応じて上記の方法を使い分けて S3 へのファイルのアップロードを行っています。 特に、Presigned URL は、手軽に利用できる上に、バックエンドのサーバーの負荷やレイテンシーの削減といったメリットも大きく、重宝しています。 一方で、その手軽さの反面、アップロードに際して様々な制約を
In 2021 Ben Bridts published a highly inventive method for finding the AWS Account ID of a public S3 bucket. This post describes a technique to find the Account ID of any S3 bucket (both private and public). I'd highly recommend reading Ben's technique first as we will re-use a lot of concepts. S3 Bucket to AWS Account ID Shell output can be worth a thousand words, here's what our technique enable
Amazon Linux 2023にDOckerとDocker Composeをインストールする手順です。 DockerとDocker Composeは、ARM系EC2インスタンスでもインストールできますが、安定性では、x86_64系のEC2インスタンスでの使用をオススメします。 パッケージマネージャーの箇所をapt-getなどに変更すると、Debian系のLinuxでもDockerとDocker Composeをインストールすることができます。 パッケージのアップデート
垂直スケーラビリティと効果的なテストによる金融取引システムのパフォーマンスと効率の最大化 Peter Lawrey氏はJavaチャンピオンであり、Chronicle SoftwareのCEOとして、開発者を鼓舞してソリューションのクラフトマンシップを高めることに情熱を注いでいる。経験豊富なソフトウェアエンジニアとして、Lawrey氏はソフトウェア開発プロセスにおけるシンプルさ、パフォーマンス、創造性、革新性を奨励することに努めている。
AWS S3 のファイルを社内からのみ URL でダウンロード可能にする（パブリックアクセスブロック有効） - APC 技術ブログ
はじめに こんにちは。クラウド事業部の野本です。 業務でモックサーバを作る際に、静的なファイルをふつうに URL でアクセスしてダウンロードできるようにする必要がありました。この用途に AWS の S3 を使いたいものの、バケットの設定を間違えると全世界に公開されてしまいそうで、公式ドキュメントを調べながら恐る恐る設定しました。 調べた結果、バケットポリシーで適切なアクセス制限を掛けるならパブリックアクセスブロック機能は有効のままでもいいことがわかりました。その設定方法や考え方について纏めます。 設定方法 S3 のオブジェクトを URL 直アクセスでダウンロードできるようにするには、 REST API GetObject を全員に許可するようにバケットポリシーを設定します。 リクエスト元を制限する際にポリシーが「非パブリック」と判定されるよう設定すれば、パブリックアクセスブロック機能はオン
起動済み EC2 インスタンスのパブリックIPv4アドレスを削除する方法を教えてください | DevelopersIO
困っていた内容 2024年2月からパブリックIPv4アドレスが有償化されることに伴い、すでに稼働している EC2 インスタンスのパブリックIPv4アドレスを削除して、プライベートサブネットに移行することを考えています。実現する方法を教えてください。 どう対応すればいいの？ すでに起動済みの EC2 インスタンスからパブリックIPv4アドレスを削除したい場合、以下の手順で実現できます。 対象 EC2 インスタンスに追加のネットワークインターフェイス（ENI）をアタッチする 対象 EC2 インスタンスのプライマリ ENI に対して Elastic IP アドレスを関連付けする Elastic IP アドレスの関連付けを解除すると、プライマリ ENI のパブリックIPv4アドレスが削除される 追加した ENI は不要になるためデタッチする やってみた 実際に試してみました。 ここではパブリックI
SnowflakeでAWS S3 Express One Zoneを組み合わせて、パフォーマンスと互換性を検証したので結果を共有する。 互換性テストが通らなくても、一部の機能は使用できるようだ。 結論 読み取り系のワークロードでは、最大16%ほどのクエリパフォーマンスの改善が見られた。 ただし、現時点では、スタンダードなS3バケットからExpress One Zoneへ移行する必要はない。 現時点では移行するメリットをデメリットが上回る。 まず、書き込み系の操作はエラーで実行できない。 また、LISTなどバケット全体のスキャンを行うクエリでは、最大20倍も遅くなった。 全体的にSnowflakeの内部のコードがExpress One Zoneを想定していないようでエラーが頻発した。 未サポートなので当然だが日常的な使用は厳しい。 SnowflakeでExpress One Zoneを活用し
本記事は 【Advent Calendar 2023】 12日目の記事です。 🎄 11日目 ▶▶ 本記事 ▶▶ 13日目 🎅 今回のテーマについて AWSを使用するシステムで、S3を使わないことなんてない。と言い切れそうなくらいS3は使用されていますよね。低コストで大容量のオブジェクトを保存できるというメリットがまず思い浮かぶと思いますが、それ以外にもアクセス制限を細かくできるといったセキュリティ面の強みも大きな魅力です。 そのセキュリティ設定の1つとしてバケットポリシーがありますが、正しく理解できていますでしょうか？今回はよく遭遇するシナリオパターン5つを想定し、それに即したバケットポリシーの例を紹介していきたいと思います。 なお、バケットポリシーは同じシナリオであっても複数設定パターンが存在し、今回紹介させていただくものが正解というものではありませんので、あらかじめご了承ください。
S3のコンテンツを管理したい そのWebサービスでは画像やJS、CSSなどの静的リソースをAWSのS3に上げて利用していたのですが、マネコンから手動でアップロードしている状態でした。 そのため、量が多いと作業も大変ですし、抜け漏れなどの人的ミスも発生していました。 元々その静的リソースはgitにも保存していたので、gitで管理しているリソースをawsのcliで aws s3 sync で同期した方が確実だし楽じゃん！、と思いデプロイ手順を変更しました。 gitとs3の手動同期 そもそも今gitとs3の中身って本当に同じなの？、という疑惑があったので、 aws s3 sync で全差分を出して一つずつチェック。 S3にしかないもの、gitにしかないもの、これどこで使ってるの？、みたいなファイルが山ほどあり、調整は時間を要しましたが、基本はS3に上がっているものが正なので、差分はS3のものを残
Amazon EC2 Inf2 instances, optimized for generative AI, now available globally
Starting today, the Amazon Elastic Compute Cloud (Amazon EC2) Inf2 instances are generally available in the Asia Pacific (Mumbai), Asia Pacific (Singapore), Asia Pacific (Tokyo), Europe (Ireland), and Europe (Frankfurt) regions. These instances deliver high performance at the lowest cost in Amazon EC2 for generative AI models. You can use Inf2 instances to run popular applications such as text sum
はじめに この記事はBASEアドベントカレンダー8日目の記事です。 LocalStack/minioを導入して開発者体験が捗った話 こんにちは、BASE 株式会社 BASE BANK Division でソフトウェアエンジニアをしています。 @glassmonkeyこと永野です。 最近ではAWS上にVPCから環境を作っては、壊したりしています。 今回の記事では、AWSのサービスを使ったアプリケーション開発における、開発者自身のPCにおける開発、いわゆるローカル環境での開発者体験をあげた話をします。 YELL BANKについて 私が担当しているサービスであるYELL BANKは、BASEでショップを運営しているオーナー様に「気軽な資金調達」を提供するプロダクトになります。 yellbank-lp.thebase.com 現在のYELL BANKのアーキテクチャは以下のように複数のシステムコン
こんにちは、佐々木です。re:Inventの基調講演で発表されたAmazon S3 Express One Zoneについて、さっそく調査してみました。 写真は、re:Inventの会場にいたS3のマスコットキャラです。イベント初日は、Express One Zoneの腹巻をしていなかったのですが、サービス発表後はExpress One Zoneという名前で会場内を闊歩していました。 Amazon S3 Express One Zoneとは？ Amazon S3 Express One Zoneは、S3の新しいストレージクラスです。従来も、ひとつのAZのみにデータを配置するOne Zoneもありましたが、これはコスト削減を主眼としたストレージクラスです。今回発表されたExpress One Zoneは、名前に明記している通り、速さに特化したサービスラインナップです。発表では、特に小さなファ
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋 兼業エンジニアの “宮地克弥”（@int_tt） です。 データ分析基盤を構築するのに必要な不可欠なものとしてデータレイクが挙げられます。AWS を利用して構築する際には Amazon S3 の利用が推奨されています。 【公式参照】AWS 上でのデータレイク - Amazon S3 データレイクでデータサイロを排し、大規模で簡単な分析を可能にする Amazon S3 はデータレイク以外にも静的コンテンツ置き場として幅広い用途で利用されています。 安価かつ簡単に利用することが出来る一方、設定を 1 つ間違えると情報流出に繋がる
Amazon S3よりパフォーマンスが10倍向上しリクエストコストを50％抑えられる低レイテンシーストレージクラス「Amazon S3 Express One Zone」が発表される
Amazon Web Services(AWS)が、2023年11月27日から12月1日にかけてラスベガスで開催されるイベント「AWS re:Invent 2023」の基調講演で、従来のAmazon Simple Storage Service(S3)と比較して最大10倍のパフォーマンスを発揮するストレージクラス「Amazon S3 Express One Zone」を発表しました。 Announcing the new Amazon S3 Express One Zone high performance storage class | AWS News Blog https://aws.amazon.com/jp/blogs/aws/new-amazon-s3-express-one-zone-high-performance-storage-class/ Need low laten
［速報］AWS、従来のAmazon S3より最大10倍高速な「Amazon S3 Express One Zone」発表。AWS re:Invent 2023
Amazon Web Services（AWS）は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、従来のAmazon S3 Standardストレージクラスより最大10倍高速な「Amazon S3 Express One Zone」ストレージクラスを発表しました。 Need low latency & high performance? Accelerate workloads with #AWS Amazon #S3 Express One Zone delivers the fastest data access in the cloud with the lowest-latency cloud #Storage. Speed up data processing & cross the finish with time to spare. htt
Announcing the new Amazon S3 Express One Zone high performance storage class | Amazon Web Services
AWS News Blog Announcing the new Amazon S3 Express One Zone high performance storage class The new Amazon S3 Express One Zone storage class is designed to deliver up to 10x better performance than the S3 Standard storage class while handling hundreds of thousands of requests per second with consistent single-digit millisecond latency, making it a great fit for your most frequently accessed data an
Amazon S3 now supports enabling S3 Object Lock on existing buckets
Amazon S3 now allows you to enable S3 Object Lock for existing buckets with just a few clicks and to enable S3 Replication for buckets using S3 Object Lock. These improvements make it even easier to adopt S3 Object Lock, which protects objects from being overwritten or deleted. S3 Object Lock makes objects immutable for a fixed amount of time by assigning a Retain Until Date or indefinitely by app
こんにちは、SCSKの木澤です。 先日、VPCにおける大きなアップデートが発表されました。 Multi-VPC ENI Attachmentsaws.amazon.com EC2から複数のVPCに対してENIを接続できるようになったよ、という話です。 オンプレミスのネットワーク設計経験者であれば、この話を聞いて「管理用VPCが作れるようになったな」と感じることでしょう。 実際私自身もAWS初心者の頃は管理用のネットワークが構成できないことが気になっていました。 ですが、AWSにおいては安易に管理用VPCを設置すべきではないと考えています。 その理由を下にまとめたいと思います。 オンプレミスネットワーク設計のセオリー オンプレミスにおけるネットワーク設計経験が無い方もいらっしゃると思いますので、丁寧に解説したいと思います。 今回は下図のような一般的なWeb3層のシステムのネットワークを設計す
定期的にEC2を使いたいけど、頑張って節約したいときに。なお、スポットインスタンスの性質上、重要度の高いサーバーにはお勧めできません こんにちは、AWS事業本部の荒平(@0Air)です。 EC2のスポットインスタンス、使い方さえ押さえれば、価格を低く抑えたいときに大変便利ですよね。 日中しか利用しないアプリケーションをスポットインスタンスで構築し、定期起動する仕組みを作ってみました。 参考：Amazon EC2 スポットインスタンス (耐障害性を備えたワークロードを最大 90% OFF で実行) 構成図 実装方法はいくつかあると思いますが、今回はCloudFormation・Lambda・EventBridgeを利用します。 やってみた 1. Spot Instance用の起動テンプレートを作成する スポットインスタンスとして起動させるためのEC2起動テンプレートを作成します。 EC2イン
内製オブジェクトストレージサーバ「b3」でコスト最適化を目指した話 - Mirrativ Tech Blog
インフラストリーミングチームの近藤 (@udzura) です。今回は、ミラティブで内製しているオブジェクトストレージサーバ「b3」の紹介記事を書きたいと思います。 今回の記事は、6月にGopher Talkというイベントで発表した「Go製ミドルウェアを実践投入するにあたりやったこと」をベースに、内容を詳細にしたり直近の開発状況に合わせて更新したものです。一部内容はこの発表と重複していますがご了承ください。 オブジェクトストレージサーバを内製した背景 1. 大量オブジェクトの操作や増え続ける転送量に対応したい 2. 一定期間しかファイルの保持をしない 3. オンメモリ/SSD/HDDを組み合わせたチューニングがしたい オブジェクトストレージb3の特徴 S3 互換の基本的なAPIを実装 LSM-Tree index＋WALなDB/マージ操作に対応 I/O 帯域を制限可能 非同期レプリケーション
【AWS】AWS Lambda + ChatGPT でS3オブジェクトの自動タグ付けを実現する (Terraformコード付き) - APC 技術ブログ
はじめに こんにちは、クラウド事業部の葛城です。 今回は、AWS Lambdaを活用してS3にオブジェクトを配置した際に、ChatGPTを活用して自動で内容を分析してタグ付けするシステムを構築しました。 AWS LambdaとAmazon S3を初めて触る方や、コードを書いて少し格好良くシステムを構築したいAWS初学者向けの内容になります。 GitHubでコードを公開しています。 github.com こだわったポイントとしては、ChatGPTのAPIを試してみたかったので、s3のタグ生成の機能として活用しました。 また、AWSのインフラストラクチャをTerraformを使ってコード化したので、IaCにする際のTipsやAWSの IaCに興味ある方の参考になればと思います。 目次 はじめに 目次 1. AWSサービスの概要 AWS Lambda Amazon S3 2. 自動タグ付けアプリ
AWS announces the general availability of Amazon Elastic Compute Cloud (Amazon EC2) R7i instances powered by custom 4th Generation Intel Xeon Scalable processors (code-named Sapphire Rapids). These custom processors are exclusive to AWS and offer the best performance among comparable Intel processors in the cloud – up to 15% faster than Intel processors utilized by other cloud providers. R7i insta
[アップデート] Amazon マシンイメージ（AMI）の無効化ができるようになりました | DevelopersIO
一時的に使用させたくないけど後で調査のためにイメージを残しておきたいといったケースなどに使えそうです。 こんにちは、AWS事業本部の平木です！ ふと AWS 公式ドキュメントを眺めていたところ、 Amazon マシンイメージ（以下、AMI） を無効化できるアップデートがあったのでご紹介します。 AMI の無効化とは 「AMI の無効化」とは、文字通り AMI が無効化され使用できなくする状態にできます。 無効化した AMI をコンソール画面で見ると、ステータスが「無効」となっているのが分かります。 無効化することの影響 無効化することの影響はいくつかあります。 AMI の共有の無効化 まず、無効な AMI は共有できなくなり、AMI が公開されていた場合は非公開になります。 AMI が AWS アカウント、Organizations、または OU へ共有されていた場合、共有先のアカウントは
AMI を S3 へストア（アップロード）、S3 から AMI のリストア（ダウンロード）の制限事項について絵を描いて整理しました。 基本的な説明 AMI を S3 へアップロードし保存する方法は以下のブログをご確認ください。 AMIをS3に明示的なオブジェクトとして保存してみた!! [いつの間にできるようになっていたんだぃ!?] | DevelopersIO AMI のフルバックアップを可能な限り安価に長期間保存したくて S3 Glacier Deep Archive に保存してみた | DevelopersIO 制限事項 AMI を S3 へストアイメージ（アップロード）、リストアイメージ（ダウンロード）に関する制限事項は以下のドキュメントに記載があります。 制限事項の確認先となるとサービスクォータのドキュメントが最初に思いつきますが、EC2 と S3 の項目には本件の制限事項は記載さ
Amazon Machine Image(AMI)のブロックパブリックアクセスが2023/10/16からすべてのAWSリージョンでデフォルト有効化されます | DevelopersIO
Amazon Machine Image(AMI)のブロックパブリックアクセスが2023/10/16からすべてのAWSリージョンでデフォルト有効化されます たぬき( @tanuki_tzp )です。 突然ですが、AWSからこんな通知を受け取った人はいませんか？ Amazon マシンイメージブロックパブリックアクセス (AMI BPA) は、2023 年 10 月 16 日からすべての AWS リージョンでデフォルトで有効になることをお知らせします。 こちらについて、Amazonマシンイメージブロックパブリックアクセスとはなんなのか、どんな内容の設定変更があるのか等をお知らせしていきたいと思います。 Amazonマシンイメージブロックパブリックアクセス(AMI BPA)とは AMIのパブリックアクセスとは Amazonマシンイメージ(AMI)とは、AWS上でインスタンスを起動する際に使用する
キャッシュ可能な署名付きURLを考えてみる
この記事は2023年10月06日に開催された 「Cloudflare Meetup Nagoya 第3回」 で登壇した資料に基づいて作成されています。 登壇資料も併せてアップロードしていますので、そちらも併せてご覧ください。 今回のコンセプト 今回のコンセプトはタイトルにもある通り、 「キャッシュ可能な署名付きURL」 です。 昨今、画像はCDNを経由して配信されることが当たり前となりました。 ですが、たとえCDNを挟んでいたとしても画像配信は想像以上に金額がかかることは、AWSやGCPなどのストレージサービスを利用している人はご存知の通りでしょう。 そこで、Cloudflareのデータ転送料金は無料ということもあり、画像や動画コンテンツだけはCloudflareを使うケースが増えてきました。 例えば、実データはCloudflare以外のサービス（例えばS3）に配置し、CDNだけCloud
AWS、Apple M2 Pro搭載Mac miniもラックに組み込み 「Amazon EC2 M2 Pro Mac instances」提供開始
この記事は新野淳一氏のブログ「Publickey」に掲載された「AWS、Apple M2 Pro搭載のMac miniを組み込んだ「Amazon EC2 M2 Pro Mac instances」提供開始」（2023年10月3日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Amazon Web Services（AWS）は、Apple M2 Proプロセッサを搭載したMac miniをインスタンスとして利用できる新サービス「Amazon EC2 M2 Pro Macインスタンス」の提供開始を発表しました。 利用可能なインスタンスの仕様は、12コアCPU、19コアGPU、32GiBメモリ、16コアApple Neural Engineとなっています。 AWSは2022年にApple M1チップを搭載したMac miniによる「Amazon EC2 M1 Macイ
Today, Amazon DynamoDB announces the general availability of incremental export to S3, that allows you to export only the data that has changed within a specified time interval. With incremental exports, you can now export data that was inserted, updated or deleted, in small increments. You can export changed data ranging from a few megabytes to terabytes with a few clicks in the AWS Management Co
はじめにこんにちは。TIG/EXユニット所属の宮永です。 本記事ではS3バケットをtreeするCLIコマンドを紹介します。 クラスメソッドさんの記事(S3 バケットの中身を tree 形式で表示してくれる s3-tree を Amazon Linux 2 にインストールして使ってみた)を拝見して、s3-treeというツールの存在を知ったのですが、profileを指定できなかったり、バケット単位でしか指定できなかったりと細かな部分で不自由さを感じたためGoでCLIツールを作成しました。 作成したツールは以下リンク先で公開しています。 streeは「エスツリー」と読みます。先に語感の良い名称を思いついたため、衝動に身を任せて開発しました。 機能概要まずは利用画面を見ていただいたほうがイメージ付きやすいかと思いますのでgif画像を添付します。 streeは以下の機能をサポートしています。 バケッ
S3に静的ページを独自ドメインを利用してホスティングする - RAKUS Developers Blog | ラクス エンジニアブログ
始めに 弊社では、数行と画像１枚の静的ページを表示させるためだけ に、1台サーバーを構築し保守運用してました。 それだけのために、1台のサーバーを保守運用するの馬鹿らしくね？？？？？？ ＼＼＼うん！馬鹿らしい／／／ ということで、AWS上に移行すること となりました にしました。 今回は、S3とCloudFrontを利用して静的ページを表示させる設定をご紹介させていただきます。 初歩的な内容となりますので、これから静的ページを作りたいんだけど！といった方向けの内容となります。 始めに 要件 構成について AWSの利用サービス 構成図 実際の設定手順 S3設定 1. バケット作成 2. indexファイルのアップロード CloudFront設定 1. ディストリビューションを作成 2.ポリシー設定 3.接続確認 Route53 設定 1. カスタム SSL 証明書発行 2. CNAME登録
[アップデート] Amazon SES のメール受信機能がついに東京リージョンでも使えるようになりました | DevelopersIO
いわさです。 本日 Amazon SES のメール受信機能を使用可能なリージョンが追加されたとアナウンスされました。 なんと、とうとう東京リージョンでも使えるようになりました。 これまでメール受信する仕組みを Amazon SES で使いたい場合でもその部分についてはバージニアかオレゴンを経由させていた方は多いのではないでしょうか。 今回東京リージョンのエンドポイントが追加されており、ポリシーなどで海外リージョンが使えない場合でも Amazon SES でのメール受信を採用出来るようになりました。 Amazon SES のメール受信 Amazon SES でメール受信出来たのか？という方は以下の記事も参考にしてください。 用途としては一般的なメールクライアントで送受信するための用途ではなくて、受信メールを保存したり、そこから Lambda や SNS を経由して自動化を行う場合などがユース
![[アップデート] Amazon SES のメール受信機能がついに東京リージョンでも使えるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/dc7b169c31f578b497e4c85d122a88c24b6c46ba/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-ses.png)
Amazon S3 は、S3 エンドポイントの DNS クエリへの応答で複数値回答 (MVA) をサポートするようになりました。MVA を使用して、DNS クエリごとに最大 8 つの S3 IP アドレスを取得できるようになりました。これらの IP アドレスを使用して S3 への複数同時接続が自動的に行えるため、スループットが向上します。MVA では、アプリケーションが別の DNS クエリを待たずに自動的に別の IP アドレスを試行するため、再試行がより効率的に行われます。 Java 2.x、C++、Python (Boto3) といった AWS SDK の新しいバージョンでは、アプリケーションを変更することなく自動的に MVA の便利な機能を使用できます。非同期操作で Java SDK v2 と共通ランタイム (CRT) ライブラリを組み合わせて使用している場合、さらに便利な機能が MV
Amazon EC2 におけるセキュリティ(脆弱性)事例 - blog of morioka12
1. 始めに こんにちは、morioka12 です。 本稿では、Amazon EC2 上で動く Web アプリケーションの脆弱性によって脆弱性攻撃が可能だった実際の事例について紹介します。 1. 始めに 2. Amazon EC2 におけるセキュリティリスク Amazon EBS 被害があった公開事例 3. Amazon EC2 で起こりうる脆弱性攻撃 SSRF が可能な脆弱性 SSRF における回避方法 4. Amazon EC2 の脆弱な報告事例 画像読み込み機能に潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 SAML アプリケーションに潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 Webhook 機能に潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 Webhook 機能に潜む SSRF を悪用した EC2 のクレデ
こんにちは、シマです。 皆さんはS3を使っていますか？S3は他のストレージサービスと比較して可用性が高く安価で利用することができるため、よく使うサービスだと思います。しかし、安価でも大量に利用するときは当然コストが大きくなるため、コストを意識する必要があります。 今回は、一般的な利用で発生するコストと留意すべき点を改めてまとめました。 描いてみた S3の料金の詳細についてはAWS公式の以下ページに記載があります。 上記を基に、ザックリとした絵を描いてまとめてみました。 ※マルチリージョンアクセスポイントやTransfer Accelerationのような機能の利用に応じて発生するコストは含んでいません。 上図の黄色枠が発生するコストを示しています。ストレージクラスの差は考慮から除外していて、利用するストレージクラスによりコストが発生しない場合もあります。ストレージクラスの比較については以下
ワークフロー実行基盤をFargateからEC2へ変更したらコストもパフォーマンスも改善できて幸せになった話 - ZOZO TECH BLOG
はじめに こんにちは、ブランドソリューション開発本部バックエンド部SREブロックの小林（@mirai_kobaaaaaa）です。普段はWEARやFAANSというサービスのSREとして開発、運用に携わっています。 WEARではAmazon Elastic Kubernetes Service（以下、EKSと呼ぶ）を用いて複数システムのインフラ基盤を構築・運用しています。その中の1つとして、ワークフロー処理の実行基盤が存在しています。 本記事では、そのワークフロー実行基盤が抱えていた課題と、それらをどのように解決したのかを紹介します。また、付随して得られたメリットについても紹介いたします。 目次 はじめに 目次 WEARにおけるワークフロー ワークフロー処理内容 ワークフロー実行基盤の構成 ワークフロー実行基盤の課題 コスト内訳の調査 過剰なPodスペック Fargate実行時間の増大 ワーク
こんにちは。技術部のsです。 今回はEC2 Instance Connectを簡単に紹介致します。 EC2 Instance Connectとは？ EC2 Instance Connect を使用した Linux インスタンスへの接続 AWSマネジメントコンソール上(ブラウザ上)からSSHを利用してサーバにアクセスができるサービスです。 秘密鍵/公開鍵の設定を行わずとも、安全にサーバへSSH接続を実施することができますが、 利用するには事前準備が必要です。 利用条件 サポートしているOSバージョンは ・Amazon Linux 2 ・Ubuntu 16.04 以降 となります。 また、インスタンスにSSH接続が許可されていること、パブリックIPアドレスが設定されていることなどが条件となります。 参考 EC2 Instance Connect を使用して接続 設定してみる ではさっそく設定し
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
空のS3バケットでAWSの請求額が爆発的に増加するとの指摘、Amazonはさっそく問題に対処すると発表
S3 is files, but not a filesystem
プライベートも含めあらゆるS3バケットのAWSアカウントIDを突き止める方法が開発される
How to find the AWS Account ID of any S3 Bucket
Amazon Linux 2023にDockerとDocker Composeのインストール
AWS Console-to-Code：コンソールアクションのコードを生成可能に
SnowflakeでAWS S3 Express One Zoneを使うとどれだけ速いのか
Amazon S3のシナリオ別(5選)バケットポリシーを考えてみた - NRIネットコムBlog
アップロード画像を全消しした話 - Qiita
LocalStack/MinIO を導入して開発者体験が捗った話 - BASEプロダクトチームブログ
Amazon S3 Express One Zoneの性能測定をしてみた - NRIネットコムBlog
Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う
EC2における「管理用VPC」設置の是非について
毎日短時間だけ稼働したいEC2 Spot Instanceを定期起動してみた | DevelopersIO
Introducing Amazon EC2 R7i instances
AMI を S3 に保存するときの制限事項を図解してみた | DevelopersIO
Announcing incremental export to S3 for Amazon DynamoDB
stree：S3バケットをtreeするCLIコマンド | フューチャー技術ブログ
Amazon S3 での DNS クエリに対する応答で複数値回答のサポートを開始
S3のコストについて改めて確認してみた | DevelopersIO
EC2 Instance Connect を使ってみた｜株式会社ネットアシスト