Amazon S3 Storage Lensを使ってストレージコストを下げる5つの方法 | Amazon Web Services
Amazon Web Services ブログ Amazon S3 Storage Lensを使ってストレージコストを下げる5つの方法 このブログはMark Kalus (Principal Product Manager with Amazon S3)とLee Kear(Storage Specialist Solutions Architect specializing in S3)によって執筆された内容を⽇本語化したものです。原⽂はこちらを参照して下さい。 Amazon S3のバケット数が増え、数十から数百のアカウントにまたがっている場合、増大するストレージの管理とコスト効率の改善ができるツールをお探しではないでしょうか。S3 Storage Lensは、S3コンソールに組み込まれた分析機能で、オブジェクトストレージの使用状況やアクティビティの傾向を組織全体で可視化し、コスト削減の機
Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 | Amazon Web Services
AWS News Blog Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 March 15, 2023 – You can now use S3 Object Lambda with Amazon CloudFront to tailor content for end users. When you store data in Amazon Simple Storage Service (Amazon S3), you can easily share it for use by multiple applications. However, each application has its own requirements and
【レポート】Amazon EC2 の進化の歴史から学ぶ EC2 入門 2019年版 #AWSsummit | DevelopersIO
こんにちは。 chicca です。6月12日から14日まで開催された AWS Summit Tokyo 2019 に参加してきました。 出席したセッション「Amazon EC2 の進化の歴史から学ぶ EC2 入門 2019年版」のレポートをお届けします。 セッションのなかでは、今年リリース予定のインスタンスについてもアナウンスがありました。 スピーカー アマゾン ウェブ サービスジャパン 株式会社 技術統括本部 ソリューションアーキテクト 松尾康博 様 はじめに Amazon EC2 は多くの種類や機能があるので初学者は理解をするのが大変 AWS はMVP（Minimum Valuable Product）の考えで、フィードバックに基づいて新機能を継続して追加 進化の歴史をたどると、どのようなフィードバックからどのような機能が出たのか知ることができる EC2 の概要 EC2 とは？ クラウ
ZOZOTOWNのWebサーバを、EC2 Windows Serverで自動構築する - ZOZO TECH BLOG
こんにちは、EC基盤本部SRE部ZOZOSREチームの石川です。 普段はZOZOTOWNのオンプレミスとクラウドの構築・運用に携わっています。 ZOZOTOWNには長い歴史がありますが、その中核を成すWebアプリケーションのアーキテクチャは、サービス開始当初から現在に至るまで大きく変わらず稼働しています。 一方で、インフラは少しずつ変わっています。高負荷となるセールやイベント時のスケールアウトするために、またハードウェアのライフサイクルに合わせる形で、物理サーバ → 仮想基盤 → クラウドと徐々に技術が変遷しています。 本記事では、クラウドへのスケールアウトを加速させるために、オンプレミスで稼働中のWebサーバをAmazon EC2（以下、EC2という）で動作させるまでの取り組みを紹介します。 スケールアウトに向けたZOZOTOWNの課題 ZOZOTOWNのWebサーバは、Windows
本記事は 【Advent Calendar 2023】 12日目の記事です。 🎄 11日目 ▶▶ 本記事 ▶▶ 13日目 🎅 今回のテーマについて AWSを使用するシステムで、S3を使わないことなんてない。と言い切れそうなくらいS3は使用されていますよね。低コストで大容量のオブジェクトを保存できるというメリットがまず思い浮かぶと思いますが、それ以外にもアクセス制限を細かくできるといったセキュリティ面の強みも大きな魅力です。 そのセキュリティ設定の1つとしてバケットポリシーがありますが、正しく理解できていますでしょうか？今回はよく遭遇するシナリオパターン5つを想定し、それに即したバケットポリシーの例を紹介していきたいと思います。 なお、バケットポリシーは同じシナリオであっても複数設定パターンが存在し、今回紹介させていただくものが正解というものではありませんので、あらかじめご了承ください。
いつの間に！？既存オブジェクトを S3 レプリケーション出来るようになっていた！ | DevelopersIO
これまで S3 のレプリケーションにおいて、「既存オブジェクトはレプリケーション出来ない」とばかり思っていましたが、2019年11月頃にひっそりと既存オブジェクトのレプリケーションが出来るようになっていたのをご存知だったでしょうか?（私は先日、S3 の公式ガイドで見つけるまで知りませんでした） そういえば SDK のアップデートはあったよね 公式ブログでアップデートリリースを見た記憶がありませんが、そういえば11月頃の SDK リリース情報に「既存オブジェクトのレプリケーションをサポート」ってありましたよね。 Aws\S3 - Added support for S3 Replication for existing objects. This release allows customers who have requested and been granted access to re
バーストパフォーマンス(T系)インスタンスの特徴を理解して上手に利用しよう | Amazon Web Services
AWS Startup ブログ バーストパフォーマンス(T系)インスタンスの特徴を理解して上手に利用しよう はじめまして、こんにちは。2020年4月にStartup Solutions Architectに着任しました、齋藤(Twitter: @koemu)です。 スタートアップ企業にお勤めのみなさま。AWSのサービスを利用される際に、インスタンスタイプはどのような基準で選択されていらっしゃいますでしょうか。その時に考慮の変数の一つとして価格を組み入れられているお客様は多数いらっしゃることと想像します。例えば、T2、T3およびT3aなどの比較的廉価なバーストパフォーマンスインスタンス(以下、T系インスタンスとします) 、Amazon EC2であればt3.mediamなどをご選択されるスタートアップ企業の方を見受けます。 さて、T系インスタンスには、性能面での他のインスタンスタイプにはない特
Diving Deep on S3 ConsistencyApril 20, 2021 • 1938 words I recently posted about Amazon S3 and how it’s evolved over the last 15 years since we launched the service in 2006 as “storage for the internet.” We built S3 because we knew customers wanted to store backups, videos, and images for applications like e-commerce web sites. Our top design priorities at the time were security, elasticity, relia
こんにちは、佐々木です。re:Inventの基調講演で発表されたAmazon S3 Express One Zoneについて、さっそく調査してみました。 写真は、re:Inventの会場にいたS3のマスコットキャラです。イベント初日は、Express One Zoneの腹巻をしていなかったのですが、サービス発表後はExpress One Zoneという名前で会場内を闊歩していました。 Amazon S3 Express One Zoneとは？ Amazon S3 Express One Zoneは、S3の新しいストレージクラスです。従来も、ひとつのAZのみにデータを配置するOne Zoneもありましたが、これはコスト削減を主眼としたストレージクラスです。今回発表されたExpress One Zoneは、名前に明記している通り、速さに特化したサービスラインナップです。発表では、特に小さなファ
本記事は、形式検証 / 形式手法 Advent Calendar 2021 の 19 日目の記事です。 Amazon S3が形式手法を採用した論文 "Using Lightweight Formal Methods to Validate a Key-Value Storage Node in Amazon S3" を読みました。 論文全体については、yohei-aさんがブログ記事で主要な部分を訳してくれています。本記事では自分なりのまとめに加えて、自分の形式手法導入の経験から思うところについても書いてみます。 論文は、Amazon S3の新しいKey ValueストレージのShardStoreの正当性を軽量形式手法で検証した話です。論文の主張をまとめると、 実装に使用した言語（Rust）と同じ言語で仕様となるリファレンスモデルを記述した。 検証したい性質によってツールを使い分けた。機能的
オリジンを S3 とした CloudFront に対して、存在しないオブジェクトへアクセスした際の HTTP ステータスコードが 403 Forbidden になったときの対処方法 | DevelopersIO
困っていた内容 オリジンを S3 として CloudFront を使用している。 存在しないオブジェクトにアクセスすると HTTP ステータスコード 403 Forbidden が返ってきてしまう。 これを、HTTP ステータスコード 404 Not Found を返すようにしたい。 どう対応すればいいの？ オリジンとして設定している S3 のバケットポリシーに、s3:ListBucket アクションを許可する設定を追加します。 また、Resource 句にバケットのルートを追加します。 設定前 { "Version": "2008-10-17", "Id": "PolicyForCloudFrontPrivateContent", "Statement": [ { "Sid": "1", "Effect": "Allow", "Principal": { "AWS": "arn:aws:
AmazonLinux2 + Nginx + Python3.x + Ansible AWX 環境を構築する - らくがきちょう
AmazonLinux2 に AWX をインストールする手順をメモしておきます。 環境 今回は以下の環境を構築します。 ベースは AmazonLinux2 インスタンスサイズは t2.small pyenv で Python 3.7.4 環境を構築 フロントエンドは Nginx で SSL/TLS を終端させる 構築完了後、各コンポーネントのバージョンは以下になりました。 Amazon Linux release 2 (Karoo) Linux awx.example.com 4.14.128-112.105.amzn2.x86_64 #1 SMP Wed Jun 19 16:53:40 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux docker-18.06.1ce-10.amzn2.x86_64 git-2.17.2-2.amzn2.x86_64 ngi
Amazon Web Services ブログ Amazon S3 アップデート – 強力な書き込み後の読み取り整合性 2006 年に S3 をローンチした当時、私はその事実上無制限の容量 (「あらゆる数のブロックを簡単に保存…」)、99.99% の可用性を実現するように設計されており、データが複数の場所に透過的に保存される耐久性に優れたストレージを提供するという事実について説明しました。このローンチ以来、AWS のお客様は、バックアップと復元、データアーカイブ、エンタープライズアプリケーション、ウェブサイト、ビッグデータ、そして最終集計で 10,000 個を超えたデータレイクといった、驚くほど多様な方法で S3 を使用しておられます。 S3、およびその他の大規模な分散システムの興味深い (時には分かりにくいこともある) 側面のひとつに、一般に結果整合性として知られているものがあります。要
AWSがAmazon S3でデータ暗号化の自動適用を開始、暗号化されていない既存バケットはどうなる？
AWSがAmazon S3でデータ暗号化の自動適用を開始、暗号化されていない既存バケットはどうなる？：暗号化設定のし忘れを防止 AWSはオブジェクトストレージの「Amazon S3」で、新規オブジェクトをユーザー側の操作なしにデフォルトで暗号化するようにしたと発表した。2023年1月5日より、世界中の全リージョンで適用が開始された。 Amazon Web Services（AWS）は2023年1月5日（米国時間）、オブジェクトストレージサービス「Amazon S3」で、オブジェクト暗号化の自動適用を開始したと発表した。世界中全てのリージョンが対象。これにより、暗号化設定のし忘れに起因するデータ漏洩（ろうえい）を防止する。 暗号化では、AWSが2011年より提供してきた「Amazon S3 Server Side Encryption（SSE-S3）」をデフォルトで適用する。SSE-S3では
AWSアカウント間のS3, DynamoDBデータ移行計画の記録 （背景と転送方法の検討） | DevelopersIO
はじめに こむろ@事業開発部です。 今回、5年以上稼働していた SpringBoot アプリケーションを エンドユーザーへの影響を最小にして、別のAWSアカウントへ完全に移行させました。その調査、検討、実施した際の想定外のトラブルやその対処について記録します。 私は主に全体のとりまとめを担当し、アプリケーション内で使うデータの関係性のチェックや移行作業全体のスケジュール作成、切り戻し計画の作成、メンバーへのタスク依頼、顧客調整等々を行いました。 概要 全体が無駄に長くなってしまったのでまとめると以下になります。 Elastic Beanstalk （1 Container Docker）で動作していた Spring Boot アプリケーションを、別の AWS アカウントの Fargate 環境へ引っ越し 作業時間は最大 5 時間 転送はもちろん、データの完全一致の保証も含めて 移行対象デー
[レポート]S3、ここまでできる！Amazon S3新規機能紹介 #AWSSummitOnlineKorea #S3 | DevelopersIO
コスト面ではGlacierの方が高いが、検索時間面ではGlacier Deep Archiveよりも速いです。 保存すべきデータ期間が180日以上で、12時間以上の復旧時間RTO(Recovery Time Objective)を許可できれば、Glacier Deep Archiveを使用する方がより安くなります。 S3 Intelligent-Tieringとは? (re:Invent 2018) このストレージクラスは寿命が長く、アクセスパターンがわからなかったり、予測できないデータに理想的で、性能の影響または運用オーバーヘッドなしに最も費用効果的なアクセス階層にデータを自動で移動して費用を最適化するために設計されました。 S3 Intelligent-Tieringの特徴 主にわからなかったり、変化するアクセスの場合使用する。 2つのアクセス階層に保存して作動し、アクセスパターンの変
![[レポート]S3、ここまでできる！Amazon S3新規機能紹介 #AWSSummitOnlineKorea #S3 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9a8bb89acbedf928e329ccafe00d8604fd92168f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F05%2F2020-aws-summit-online-korea-1.png)
AWS Transfer for SFTPの構成例まとめ (2020年4月版) | DevelopersIO
しばたです。 マネージドのSFTPサービスであるAWS Transfer for SFTPですが、サービスが提供されてから本日に至るまでに幾つかの機能追加がされており、実装可能な構成も変わっています。 本記事では本日(2020年4月18日)時点でどの様な構成を実装可能なのか解説します。 FTPおよびFTPSサポートについて【2020.04.24追記】 2020年4月24日より、SFTP以外にFTPおよびFTPSプロトコルがサポートされる様になりました。 詳細は上記の記事をご覧いただきたいのですが、プロトコル毎で利用可能な構成が異なりますのでご注意ください。 加えてFTP、FTPSの全機能が使えるわけではなく機能制限もありますのでこちらもご注意ください。 【追記ここまで】 これまでの更新 実現可能な構成に触れるまえに軽く歴史的経緯について触れておきます。 サービスリリース時 AWS Tran
Amazon S3 will no longer charge for several HTTP error codes
Amazon S3 will make a change so unauthorized requests that customers did not initiate are free of charge. With this change, bucket owners will never incur request or bandwidth charges for requests that return an HTTP 403 (Access Denied) error response if initiated from outside their individual AWS account or AWS Organization. To see the full list of error codes that are free of charge, visit Billi
TechCrunch
[A version of this post appeared in TechCrunch’s robotics newsletter, Actuator. Subscribe here.] The last time I’d spoken with the NVIDIA at any length about robotics was also the last time we
【S3からS3へ】Node.js の Streaming API を使って Lambda Function のみで CSVファイルを JSON Lines ファイルへ変換する | DevelopersIO
CSV to JSON Lines fast-json のドキュメントを見ながら実装します。transform をうまく使えば実装できそうです。 converter.js const { EOL } = require（'os'）; const { parse } = require（'fast-csv'）; const stream = require（'stream'） // 入力CSVをまずはテキストで用意します const CSV_STRING = [ '回答ID,a1,a2,a3,a4,a5,a6,a7,a8,回答日時', 'classmethod_answer_0,2,9,1,7,5,5,4,Kesase dunwu it nisfen iwo vogal ako po giser hosjobik.,2020-05-15T14:01:12.299+09:00', 'class
【インフラエンジニアに】S3 に置いてるログ、圧縮してますか？【聞いてみよう】 - AppBrew Tech Blog
AppBrew で LIPS のリードエンジニアをやってる Pin (@spinute)と申します。 半年ほど前に AppBrew でアルバイトをしながら転職活動をしていましたが、いい感じだったのでそのまましれっと AppBrew に入社しました。 tech.appbrew.io 今日の記事では、圧縮し忘れていたログを圧縮し、35万円/月の費用を削減した話を紹介します。 確認するだけなら一瞬なので、AWS を使ってる会社の方は、担当の方にこの記事を共有してみると思わぬ費用削減に繋がるかもしれません...！ LIPS のインフラ構成 問題発見の経緯 対応 Firehose のログ圧縮設定を有効にする 既存のログを圧縮する s3-dist-cp ログを削除する まとめ LIPS のインフラ構成 弊社のデータ処理基盤は開発初期に深澤が入れてくれたもので、大まかな構成は今もそのままです。 LIPS
はじめにこんにちは。TIG/EXユニット所属の宮永です。 本記事ではS3バケットをtreeするCLIコマンドを紹介します。 クラスメソッドさんの記事(S3 バケットの中身を tree 形式で表示してくれる s3-tree を Amazon Linux 2 にインストールして使ってみた)を拝見して、s3-treeというツールの存在を知ったのですが、profileを指定できなかったり、バケット単位でしか指定できなかったりと細かな部分で不自由さを感じたためGoでCLIツールを作成しました。 作成したツールは以下リンク先で公開しています。 streeは「エスツリー」と読みます。先に語感の良い名称を思いついたため、衝動に身を任せて開発しました。 機能概要まずは利用画面を見ていただいたほうがイメージ付きやすいかと思いますのでgif画像を添付します。 streeは以下の機能をサポートしています。 バケッ
aws s3 ls があるなら aws s3 cat も実行したい、けど無理そうなので aws s3cat で我慢した | DevelopersIO
S3 オブジェクトの中身をローカルにダウンロードせずに参照したい コンバンハ、千葉（幸）です。 aws s3 cat を実行したい、そんな風に思ったことはありませんか？つまりは S3 オブジェクトの中身を参照するためにいちいちローカルにダウンロードしたくない、ということです。 例えばこんなふうに aws s3 ls で S3 バケットの中身を参照して…… $ aws s3 ls chibayuki-hoge-hoge/chibayuki/ 2022-02-13 13:17:45 0 2022-02-13 13:19:15 17 test.txt 2022-02-13 13:19:16 17 test2.txt 2022-02-13 13:19:16 17 test3.txt そのまま aws s3 cat でオブジェクトの中身を表示させたい、ということです。 $ aws s3 cat ch
Amazon S3の大量データをローカルにマウントできるファイルクライアント「Mountpoint for Amazon S3」登場
Amazon Web Services（AWS）は2023年3月14日、「Mountpoint for Amazon S3」のα版を公開した。Mountpoint for Amazon S3は、Amazon S3上にある大量のデータを、ローカルコンピュータ上のファイルシステムにマウントすることができるファイルクライアントだ。 関連記事 APIテストに便利！ 「Amazon API Gateway」と「Amazon S3」で作る、レスポンスを動的かつ簡単に変更できるAPIモック AWS活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は「Amazon API Gateway」と「Amazon S3」を利用して、レスポンスを動的かつ簡単に変更できるAPIモックを作る方法を紹介します。 サーバレスアプリを構成するビジュアルビルダー「AWS Application Compos
Use New Amazon EC2 M1 Mac Instances to Build & Test Apps for iPhone, iPad, Mac, Apple Watch, and Apple TV | Amazon Web Services
AWS News Blog Use New Amazon EC2 M1 Mac Instances to Build & Test Apps for iPhone, iPad, Mac, Apple Watch, and Apple TV 14 November 2022: This blog has been updated to remove the link to the preview form. Last year at AWS re:Invent, Jeff Barr wrote about the exciting availability of Amazon Elastic Compute Cloud (Amazon EC2) Mac instances. Today, we’re announcing the preview of a new EC2 M1 Mac ins
このエントリは、はてなエンジニアAdvent Calendarの9日目の記事としてかかれました。 AWS S3にはバッチオペレーションというマネージドサービスがあって、これは指定したバケット/オブジェクトに対して一括で何かしらの操作ができる。例えば「バケット内のすべてのオブジェクトを別バケットにコピーしたい」とかそういう時に使うと便利。 aws.amazon.com その一括操作ではLambdaを利用することもできる。Lambdaを使うとかなり柔軟な操作ができるようになるが、ドキュメントを見ただけでは最初どうしたらいいかわからなかった上に、利用する機会もそんなに無いので覚えられない。その他にも最初に知ってたらよかったみたいなのが細々とあるので、そういうのを少しまとめておく。 なお、このエントリではS3 バッチオペレーション自体のジョブの登録のやり方自体は割愛する。まずS3バッチオペレーショ
Amazon Linux 2 が起動してネットワークが有効になった後で自作スクリプトを実行する方法を調べてみた | DevelopersIO
はじめに こんばんは、菅野です。 Amazon Linux を使っていた頃は、起動時にスクリプトを実行する場合に以下のどちらかを使っていたと思います。 rc.local に記述する initd を利用する 今回のブログでは「Amazon Linux 2 として正しいお作法」を調べてみました。 条件としては「ネットワークが有効になった後」に実行されること、となります。 正しいお作法としては systemd を使う Amazon Linux 2 では「systemd」を使いましょう。 実行したいスクリプトの他に一つのファイルを用意するだけで簡単に目的は達成できます。 用意するファイル ファイル名：/home/ec2-user/exec_ping.sh Owner：ec2-user パーミッション：755 説明：yahoo へ ping を撃ち、その結果を result.txt へ記録します 一
こんにちは、SRE部の谷口（case-k）です。 本記事では、EC2 Image Builderを使いRedashの運用改善を行った事例をご紹介します。運用しているRedashについてご紹介し、その後、Redashの運用課題に対してEC2 Image Builderでどのように解決したかTipsも踏まえご紹介します。 余談ですが全国どこでも働けるようになったので沖縄に住めています(感謝！) https://press-tech.zozo.com/entry/20210118_zozotechpress-tech.zozo.com 目次 目次 運用しているRedashの紹介 役割 インフラ構成 クエリ実行の流れ EC2インスタンス起動時の処理 Redashの運用課題 EC2 Image Builderによる課題解決 EC2 Image Builderの紹介 各リソースのTips 事前準備 コ
Lambda@Edge活用例を紹介します - SPA編 - - SMARTCAMP Engineer Blog
スマートキャンプのエンジニア入山です。 皆さんは、AWS Lambdaを知っていますか？知らない方でもサーバーレスという単語は聞いたことがあるのではないでしょうか。 Lambdaはいままでプログラムを実行する上で必要不可欠だったサーバを用意（構築・運用）しなくても、実行したいプログラムをLambda関数として作成・登録するだけで、プログラムを動作させることが可能なサーバーレスコンピューティングサービスです。 2014年にサービスが公開されてから着実にアップデートを重ねており、現在では柔軟かつ幅広い用途で利用することができます。 LambdaにはCloudFrontと連携して動作させることのできる Lambda@Edge という機能があり、今回はCloudFront+S3でのSPA構成の際にLambda@Edge（CloudFrontのエッジサーバーで利用できるLambda）を活用した例を紹
EC2-Classic Networking is Retiring – Here’s How to Prepare | Amazon Web Services
AWS News Blog EC2-Classic Networking is Retiring – Here’s How to Prepare Update (August 23, 2023) – The retirement announced in this blog post is now complete. There are no more EC2 instances running with EC2-Classic networking. Update (July 29, 2021) – Added link to the Support Automation Workflow document & clarified link to AWS MGN pricing. Also updated the list of recommended instance types to
｜DMM inside
In 2021 Ben Bridts published a highly inventive method for finding the AWS Account ID of a public S3 bucket. This post describes a technique to find the Account ID of any S3 bucket (both private and public). I'd highly recommend reading Ben's technique first as we will re-use a lot of concepts. S3 Bucket to AWS Account ID Shell output can be worth a thousand words, here's what our technique enable
AWS SSM Default Host Management Configurationの登場でEC2インスタンスにアタッチするポリシーの考え方・運用はどう変わる? | DevelopersIO
2023年2月中旬にAWS Systems Manager Default Host Management Configuration(SSM DHMC)という機能がリリースされました。 本機能を利用すると、EC2のインスタンスプロファイルにSSM系権限を付与することなく、セッションマネージャーなどのSSM管理機能を利用できるようになります。 最新のSSM Agent(バージョン>=3.2.582.0)でしか動作しないため、現時点での一括導入は難しいですが、AMIの更新やSSMエージェントのアップデートなど時間の経過とともに、EC2インスタンスはDHMCでSSM管理するのが主流になるはずです。 SSM DHMCが当たり前な世界になると、EC2インスタンスにアタッチしている権限の運用はどう変わるでしょうか? SSM DHMC登場前 SSM DHMC登場前であれば、次のようなポリシーを用意し、
ECSからS3をマウントしてみた
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 Mountpoint for Amazon S3 が発表されました。 Linux から直接 S3 バケットに対して読み書き機能を提供するソフトウェアです。細かく書くと、読み取りと新規ファイル作成を行うものです。 データレイクからファイルを読み取り何らかの処理をして結果ファイルをデータレイクへ戻す、みたいな処理に適切です。 処理をするアプリケーションによっては S3 API をネイティブにサポートしていないことは珍しくないはずで、その際は前後に S3 Get/Put する別処理が必要でしたが、Mountpoint for Amazon S3 によってファイルシステムとしてマウント可能になれば別処理は要らなくなります。 ただ、S3 はオブジェクトストレージであ
[AWS Transit Gateway] マネージドサービスだけでオンプレミスからS3にプライベートアクセスしたい！ | DevelopersIO
[AWS Transit Gateway] マネージドサービスだけでオンプレミスからS3にプライベートアクセスしたい！ こんにちは、菊池です。 2019/12/26追記：構成によるアクセス可否についておよび、リージョンの注意点について追記しました。 「オンプレからインターネットに出ず、プライベートなネットワークのみを経由してS3にアクセスしたい」という要望はよくあります。しかし、Direct Connectから直接S3エンドポイントにアクセスするには、敷居の高いパブリック接続が必要だったり、VPCを経由する場合はプロキシを挟む必要があったりと、かなり構築・運用のハードルが高い要件でした。 Direct Connectプライベート接続でS3へアクセスする高可用性な構成 上記のエントリではプロキシをマルチAZ構成で構築することで実現していますが、EC2の構築・運用が必要です。可能ならば、構築・
![[AWS Transit Gateway] マネージドサービスだけでオンプレミスからS3にプライベートアクセスしたい！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3b7063b7c43b501d8c9745ef2f6817e9a959c4d2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-transit-gateway.png)
Announcing the general availability of AWS Backup for Amazon S3
Today, AWS announces the general availability of AWS Backup for Amazon S3, which adds Amazon S3 to the set of supported services in AWS Backup. This launch makes it easier for you to centrally automate backup and restore of your application data stored in Amazon S3 along with other AWS services for compute, storage, and database. Using AWS Backup’s seamless integration with AWS Organizations, you
【レポート】 Amazon EC2 パフォーマンス Deep Dive #AWSSummit | DevelopersIO
幕張で開催されているAWS Summit Tokyoの中でもディープなセッションがありました。 Day1 のセッション、「Amazon EC2 パフォーマンス Deep Dive」を受講しましたので、レポートを記載します。 セッション概要 EC2の持つポテンシャルを最大限に利用して効率的な運用をするためのCPU、ネットワーク、ストレージなどといった各種処理性能の理解とチューニングポイントについて 登壇者 小川 貴士 様 宮本 大輔 様 コンピュート EC2インスタンスタイプについて インスタンスタイプ、仮想化方式(kvmかXenか)によってCPU、メモリ、ネットワーク帯域といった性能が異なる。 インスタンスタイプはc5d.9xlarge といったように表記される。この場合は、それぞれの記号に対して下記のような意味がある。 c : インスタンスファミリー 5 : インスタンス世代 d : 追
はじめに この記事はBASEアドベントカレンダー8日目の記事です。 LocalStack/minioを導入して開発者体験が捗った話 こんにちは、BASE 株式会社 BASE BANK Division でソフトウェアエンジニアをしています。 @glassmonkeyこと永野です。 最近ではAWS上にVPCから環境を作っては、壊したりしています。 今回の記事では、AWSのサービスを使ったアプリケーション開発における、開発者自身のPCにおける開発、いわゆるローカル環境での開発者体験をあげた話をします。 YELL BANKについて 私が担当しているサービスであるYELL BANKは、BASEでショップを運営しているオーナー様に「気軽な資金調達」を提供するプロダクトになります。 yellbank-lp.thebase.com 現在のYELL BANKのアーキテクチャは以下のように複数のシステムコン
[速報！] オンプレミスからプライベートネットワークでのアクセスが可能に！PrivateLink に Amazon S3 が追加されました | DevelopersIO
本日のアップデートでインターフェース型の S3 VPC エンドポイント（PrivateLink）が GA になりました！ Amazon S3 now supports AWS PrivateLink S3 の PrivateLink については re:Invent 2020 まもなくリリース予定とアナウンスされていましたが遂に来ましたね！ PrivateLink for S3 インターフェース型とゲートウェイ型 今回のアップデートで S3 VPC エンドポイントは唯一、ゲートウェイ型とインターフェース型、両方の VPC エンドポイントを持つサービスとなりました。簡単に各タイプの特徴を説明すると、以下のとおりです。 ゲートウェイ型 エンドポイント料金は無料 対応しているサービスは S3 と DynamoDB のみ エンドポイントへの名前解決はグローバル IP のまま（ルートテーブルにより、V
こちらの記事を読んで「なるほど、確かに面白いな」と思いました。 kusano-k.hatenablog.com 特に気になったのはこの部分。まだまだいけるんじゃないかと。 ファイルの取り出しのLISTは1000件まとめて取得できるので、無視できる。 PUTリクエストは0.0047USD/1,000回。 1回、1バイトあたり6.3172×10-9USD。 ストレージ料金の「GB」が10003なのか10243なのか分からない。 10243とすると、6.783USD/GB。 ということで、3,392月＝283年以上保存するならば、S3 Glacier Deep Archiveに保存するよりも、ファイル名にエンコードしたほうがお得💰💰💰Amazon S3のストレージ料金を無料にする裏技 - kusano_k’s blog 追記(2022/01/28 11:00) 職場の方から指摘をもらって、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon S3のシナリオ別(5選)バケットポリシーを考えてみた - NRIネットコムBlog
Diving Deep on S3 Consistency
Amazon S3 Express One Zoneの性能測定をしてみた - NRIネットコムBlog
Amazon S3の軽量形式手法 - masateruk’s blog
Amazon S3 アップデート – 強力な書き込み後の読み取り整合性 | Amazon Web Services
stree：S3バケットをtreeするCLIコマンド | フューチャー技術ブログ
AWS S3バッチオペレーションのちょっとしたtipsなどのご紹介 - たきざわの日記
EC2 Image Builderを用いたRedashの運用改善 - ZOZO TECH BLOG
もしもに備えた動画配信基盤のDRシステム - DMM inside
How to find the AWS Account ID of any S3 Bucket
LocalStack/MinIO を導入して開発者体験が捗った話 - BASEプロダクトチームブログ
「Amazon S3のストレージ料金を無料にする裏技」改 - くろの雑記帳