広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な
AWS、Amazon S3やEFSを爆速にする「Amazon File Cache」発表。複数のストレージを単一のビューでアクセス可能に
Amazon Web Services（AWS）は、8月10日に開催したオンラインイベント「AWS Storage Day 2022」で、新サービス「Amazon File Cache」を発表しました。 Amazon File Cacheはその名の通りAWSで利用できる高速なファイルベースのキャッシュです。特徴は2つあります。 1つ目は、ミリ秒以下のレイテンシと数百ギガバイト/秒のスループットという高い性能です。Amazon S3やNFSサーバといったストレージのキャッシュとして利用することで、これらのストレージに対するアクセスを高速化できます。 2つ目は複数のストレージに対する単一のファイルビューを提供できることです。AWSの説明によると、Amazon File CacheはAmazon S3やAmazon EFSなどAWS上のストレージだけでなく、AWSからオンプレミス上のファイルサー
私がやった Amazon S3 コストカット全ステップ | CyberAgent Developers Blog
本記事は CyberAgent Advent Calendar 2022 23日目の記事です。 「節約は固定費から。」 こんにちは、しゅん（@MxShun）です。 今年11月に中途入社、AI事業本部オペレーションテクノロジーに仲間入りしました。 今回は、年間にして 1,200 万円削減 した Amazon S3 のコストカット全ステップ を紹介します。 目次 オペレーションテクノロジー AWSコストの見直し S3コスト対象 S3コスト分析 1. ストレージ容量の削減 2. ストレージクラスの見直し まとめ オペレーションテクノロジー 私がジョインしたオペレーションテクノロジーは、 サイバーエージェント 連結売上高の53%（2022年通期決算時点）を占めるインターネット広告事業売上を最大化する システム開発 大規模インターネット広告運用を可能にする 社内システム開発 の役割を担っています。
S3 互換オブジェクトストレージまとめ
概要 S3 互換オブジェクトストレージの サービス を自分のためにまとめている。サービスとして提供されているのが前提で、 自前運用は範囲外 。 目的 以下の内容に絞って調べている。 日本リージョンの有無 egress の費用 容量の費用 追加調査予定 PutObject 対応 PresignedGetObject 対応 S3 互換 S3 互換の条件は s3cmd や aws sdk s3 がそのまま利用できる事。細かい互換性は気にしない。 比較用の AWS S3 https://aws.amazon.com/jp/s3/pricing/ 最小プラン Tokyo / Osaka リージョンあり 1 GiB 追加の egress 転送量は 0.114 ドル 1 GiB の追加容量は 0.025 ドル TODO SLA 書いてるのと書いてないのがあって拾いにくい 対象外 Azure は S3 互
脆弱なAWS S3侵害によるユニクロオーストラリアの入力フォーム改ざんについてまとめてみた - piyolog
Netcraftは、2019年5月13日頃にユニクロのオーストラリア向けオンラインショップが改ざんされ、画面上で入力する様々な情報が外部へ流出する可能性があったと報告しました。データの送信先や改ざんの手口から、RiskIQなども発表していたmagecartによる攻撃を受けたとみられます。 その後レポートは更新され、ファーストリテイリングより提供を受けた情報を元に、実際にはカード情報を含む顧客データが盗まれた可能性は低いと訂正されました。ここでは関連する情報をまとめます。 ユニクロオーストラリアの侵害 2019年8月29日、Netcraftが調査レポートを公開した。 news.netcraft.com Netcraftが事態を認知したのは2019年5月18日。 オンラインショップ利用者の情報が影響を受ける可能性があった。 発表当初はカード情報が必ず窃取される報告だったが、その後その可能性は低
AWS のサーバーレスと Amazon S3 署名付き URL、クライアントサイド JavaScript で大きなサイズの複数ファイルの一括アップロード・ダウンロード機能を実現する方法 | Amazon Web Services
Amazon Web Services ブログ AWS のサーバーレスと Amazon S3 署名付き URL、クライアントサイド JavaScript で大きなサイズの複数ファイルの一括アップロード・ダウンロード機能を実現する方法 はじめに 昨今のテクノロジーの進化は、これまで以上に、私たちがどのように働き、どのように生活するかを再定義しています。この進化の中心には、クラウドコンピューティングが存在しており、AWS はこれまで、クラウドコンピューティングのパイオニアとして、様々な機能を提供し続け、業界をリードしてきました。その機能群を支えるエコシステムの一部であるサーバーレスアーキテクチャは、スケーラブルで信頼性が高く、メンテナンスの作業負担が低いアプリケーションの開発を可能にし、ユーザーのビジネスやプロジェクトが円滑に進行するようサポートします。 AWS のサーバーレスの代表的なサービ
AWS、LinuxからAmazon S3をファイルシステムとしてマウントし利用できる「Mountpoint for Amazon S3」正式公開
Amazon Web Services（AWS）は、オブジェクトストレージサービスとして提供しているAmazon S3のバケットをLinuxからマウントし、ローカルのファイルシステムと同様にさまざまな操作を可能にする「Mountpoint for Amazon S3」を正式に公開しました。 基本的にAmazon S3の操作はS3専用のAPIを呼び出すことによって行いますが、今回公開されたMountpoint for Amazon S3はそうした操作を不要にし、いくつかの制限はあるものの、Amazon S3のバケットをまるでローカルのファイルシステムのように扱えるようになります。 これにより、例えばAmazon EC2のインスタンスからAmazon S3のバケットへの大規模なデータの保存や参照などが容易に可能になります。 下記はAWSが公開した動画から、実際にMountpoint for A
microCMS + Gatsby + GitHub Actions + S3 でJamStackのチュートリアル | DevelopersIO
What is Jamstack? ここ数年でよく聞くようになったワード。 Jamstackとはウェブサイトを構築および運用するための、技術の組み合わせです。 JavaScript・API・事前にレンダリングされたMarkupの組み合わせでJamStackとのこと。 (以前はJAMStackといってたけど、最近はJamstackだったりする) Jamstackは、 「ウェブをより速く・より安全に・より簡単に拡張できるように設計されたアーキテクチャ」であり、 生産性を最大化するツールやフレームワーク、ライブラリやワークフローなどを 組み合わせて構築されるもの、とのことです。 ※jamstack.orgより 従来のCMSではアクセスがあったとき動的にページを生成しますが、 Jamstackではデプロイ以前に必要なページを生成します。 具体的には、下記。 Webサイトのフロントエンド全体(HTM
アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入してみてわかったメリット・デメリット - ANDPAD Tech Blog
こんにちは。SREチームの吉澤です。 アンドパッドでは最近、AWSのS3バケット上のファイルをスキャンするために、アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入しました。その結果、私たちの要件はほぼ全て満たされたうえに、従来比で大幅なコスト削減を実現できました。 Antivirus for Amazon S3について日本語で書かれた記事はまだ少ないですが、S3に対するウイルススキャンが求められるケースでは、導入を検討する価値があるソフトです。 そこで、今回はこのAntivirus for Amazon S3の概要、私たちが本番環境に導入してみてわかったメリットやデメリット、そしてこのソフトが適した状況をご紹介します。 背景 S3に対するウイルススキャンが必要な理由 Antivirus for Amazon S3の導入前に利用していたソフト Antiv
システムエンジニアの椎葉です。 ファイル数が多くなるとファイルの転送に時間がかかってしまいます。 ファイル転送の改善で処理時間やEC2のコストを削減することができます。 今回の例でも30%ほど転送時間＆コストを削減することができているので是非参考にしてみてください。 設定項目 今回改善するために変更する設定は下記の２つです。 項目名 説明 max_concurrent_requests 同時に実行できるリクエストの最大数を制御。この設定により、バケットへの同時アクセスを制御することができる。デフォルト:10 max_queue_size タスクキュー内の最大タスク数を制御。タスクが多くなると速度も速くなるが、比例して多くのメモリが必要になる。デフォルト:1000 設定変更のコマンド 設定を変更する際は下記のコマンドを実行します。 aws configure set default.s3.m
S3 is a Key-Value store Amazon S3 は、一意のキー値を使用して、必要な数のオブジェクトを保存できるオブジェクトストアです。 Amazon S3 オブジェクトの概要 - Amazon Simple Storage Service Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。 Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO Amazon S3の実体はKey-Value storeという事実は、既にご存知の方々にとっては何を今更というようなことではありますが、それでも初めて聞くときには驚かされたものです。 さて、Key-Value storeと聞いて一般的に馴染みが深いのはRedisでしょう。そして、RailsにおけるRedisの役割としてCac
Amazon Web Services ブログ クラウドにおける安全なデータの廃棄 クラウドにおける統制をお客様が考慮する場合、基本的な考え方は大きく異なるものではありません。ただし、クラウドならではの統制を考慮すべきケースがあることも事実です。その際には、従来のオンプレミスのやり方を無理にクラウドに当てはめようとしてもうまくは行きません。大事なことはその統制が何を目的としていたのかに立ち返り、その上で、New normal(新しい常識)にあった考え方や実装をすすめる必要性を理解し、実践することです。この投稿では、メディアやデータの廃棄を例として、セキュリティのNew normalを考えていきます。 メディア廃棄における環境の変化 データのライフサイクルに応じた情報資産の管理は多くのお客様の関心事項です。 オンプレミスの統制との変更という観点では、メディア廃棄時の統制は従来のオンプレミス環
こんにちは佐々木です。以前、『AWSのグローバルIPの空間はインターネットなのか？』と題して、AWSのパブリックIP同士の通信が何故AWSのプライベートネットワークの通信になるのかという話をしました。その中で、PrivateLinkの必要性はどう考えるべきなのかという事に、少しだけ言及しました。今回は、そこをもう少しだけ深ぼって見てみましょう。ユースケースとしても多いであろう、EC2からS3の通信の例でみてみます。 tech.nri-net.com EC2からS3へアクセスする４つのルート EC2からS3へアクセスするルートとしては次の４つがあります Internet Gateway NAT Gateway VPC Endpoint（Gatewayタイプ） PrivateLink（Interfaceタイプ） それぞれの構成と利用に関わる費用をみてみましょう。なお、今回ご紹介するコストは、S
Amazon S3がこれまでの「結果整合性」から「強い一貫性」サポートへ。データを更新直後でも最新データの読込みが保証されるように
Amazon S3がこれまでの「結果整合性」から「強い一貫性」サポートへ。データを更新直後でも最新データの読込みが保証されるように Amazon Web Services（AWS）は、オブジェクトストレージサービスのAmazon S3で「Strong Consistency（強い一貫性）」をサポートすることを明らかにしました。 すでにAmazon S3で有効になっており、追加料金は発生せず、性能低下もないとのこと。AWS re:Invent 2020の基調講演では発表されておらず、ブログで発表されました。 これまでAmazon S3では、データ整合性がつねに保証されるものではない「結果整合性」のみをサポートしていました。そのため、データをAmazon S3へ保存した直後やデータの変更を行った直後に別のプロセスからそのデータにアクセスしようとすると、まだ保存されていない、あるいは変更されてい
【日本初導入】 AWS Outposts ラックを徹底解説 第1回 〜導入・利用方法の概要〜 - NTT Communications Engineers' Blog
はじめに こんにちは、イノベーションセンターの福田・鈴ヶ嶺です。 普段はクラウドサービスをオンプレ環境でも同様のUI/UXで使用を可能とするハイブリッドクラウド製品の技術検証をしています。 本記事は、今回日本で初めて導入した AWS Outposts ラックの仕様、導入方法、利用方法について徹底解説します。次の画像は、実際に導入した AWS Outposts ラックの画像です。 NTT Com では「Node-AI on AWS Outposts」に関するニュースリリースを2022年3月14日に発表いたしました。 今後は「Node-AI on AWS Outposts」を軸に、自社の多様なサービスやソリューションと組み合わせることで、AWSをご利用されるお客さまのデジタルトランスフォーメーションを支援していきます。 国内初、「AWS Outposts」に自社データ分析ツールを組み込んだソリ
歴史・年表でみるAWSサービス(Amazon S3編) －単なるストレージではない機能・役割と料金の変遷－ - NRIネットコムBlog
本記事はNRIネットコム Advent Calendar 2021 1日目の記事です。 🎄 0日目 ▶▶ 本記事 ▶▶ 2日目 🎅 小西秀和です。 現在、AWSでは年に一回のAWS re:Inventというイベントの真っ最中で多数の新サービスの発表やセッションがおこなわれています。 そんな状況ですが、今回は当ブログ初のアドベント企画ということで、最新情報とは真逆のアプローチで記事を書いてみました。 最新情報を追うことに疲れた方はこちらの記事で、自分の歴史と照らし合わせながらチルアウトしてみてはいかがでしょうか。 さて、今回のテーマはAmazon S3の年表を作って歴史やアップデートを振り返ろうというものです。このテーマにしたきっかけは2つあります。 まず、1つ目は2006年3月14日にサービス開始したAmazon S3が今年、2021年3月14日に15周年を迎えたことです。 そして2つ
Amazon S3のデータを直接検索できる「MongoDB Atlas Data Lake」正式リリース。データベースへの転送不要、MongoDBのクエリ言語を直接実行
Amazon S3のデータを直接検索できる「MongoDB Atlas Data Lake」正式リリース。データベースへの転送不要、MongoDBのクエリ言語を直接実行 MongoDBは、Amazon S3に保存されているデータをそのままデータベースへ転送することなく、直接MongoDBのクエリ言語で検索可能にするクラウドサービス「MongoDB Atlas Data Lake」の正式リリースを発表しました。 発表は同社がオンラインで開催したイベント「MongoDB.Live 2020」で行われました。 通常、データベースで検索や分析の対象となるデータはデータベース内に保存されているデータであるため、ファイルサーバやオブジェクトストレージなどに保存されているJSONデータやCSVファイルなどは、何らかの方法でデータベースへインポートする必要があります。 MongoDB Atlas Data
AWSのアクセスを管理するPolicyドキュメントは柔軟に可否を設定できてとてもすごい！ でも、柔軟がゆえに難しい！評価条件もよくわからない！ 具体例があると理解の助けになると考えているので、自分の考えを整理するために具体例を作りました。 具体例を見ながらPolicyドキュメントについて学んでいきましょう。 Policyドキュメントとは？ AWSでアクセスを管理するために、基本的にはIAMポリシーとIAMロールを作成し、それをIAMユーザーやAWSリソースにアタッチする必要があります。 ポリシーとアクセス許可 - AWS Identity and Access Management そのときに、IAMポリシーでアクセスする許可と拒否の条件をJSON形式で記述したものがPolicyドキュメントです。 Policyドキュメントの例 { "Version": "2012-10-17", "Sta
絵で見て 3分でおさらいする Amazon S3 のバージョニングとライフサイクル | DevelopersIO
コンバンハ、千葉（幸）です。 S3 のライフサイクルやバージョニング、使ってますか？ 私は「あぁそれね、4年くらい前に完全に理解しましたよ」という気分でいたのですが、いざ きちんと思い出そうとすると 90分ほどかかってしまいました。 3歩あるくと大抵のことを忘れる私としては、都度 90分かけて思い出すわけには行きません。今後は 3分くらいで思い出せるよう、まとめてみることにします。 まとめ バージョニング はバケット単位で設定する ステータスは以下のいずれか 無効 有効 停止 「以前のバージョン」のオブジェクトは復元できる 削除マーカーによる論理的な削除という状態が生まれる ライフサイクルはスコープを限定可能で、ルールを複数設定できる 選択できるアクションは以下 現行のバージョンのストレージクラスの移行 以前のバージョンのストレージクラスの移行 現行のバージョンの失効 以前のバージョンの完
［速報］Amazon S3にファイルを置くとAmazon Redshiftに自動で取り込まれる「Amazon Redshift auto-copy from S3」発表
［速報］Amazon S3にファイルを置くとAmazon Redshiftに自動で取り込まれる「Amazon Redshift auto-copy from S3」発表 Amazon Web Services（AWS）は、米ラスベガスで開催中の年次イベント「AWS re:Invent 2022」で、Amazon S3からAmazon Redshiftへデータを自動的にコピーする新サービス「Amazon Redshift auto-copy from S3」を発表しました。 これによりETLやデータロードのためのツールなどを用いることなく、簡単にAmazon Redshiftへデータを流し込めるようになります。 Amazon S3にファイルを置くとRedshiftに自動で取り込まれる Amazon Redshiftは大規模なデータを保存し分析を行う、データウェアハウスの機能を提供するサービス
特定の IAM ロールのみアクセスできる S3 バケットを実装する際に検討したあれこれ | DevelopersIO
今回は S3 バケットへのアクセスを特定 IAM ロールからのみに限定して利用する機会がありましたので、設定方法と検討したあれこれをご紹介します。 やりたいこと 構成図はこんな感じ 前提条件 IAM ロールと S3 バケットは同一アカウントに存在する IAM ロールには S3 を管理する権限がアタッチされている 今回は AmazonS3FullAccess ポリシーをアタッチしています NotPrincipal でやってみる 「特定 IAM ロール以外は制限する」という考え方でパッと思いつくのは、以下のような NotPrincipal で制限する方法かと思います。 バケットポリシー { "Version": "2012-10-17", "Statement": [ { "Effect": "Deny", "NotPrincipal": { "AWS": "arn:aws:iam::xxxx
米Amazon Web Servicesは、Amazon Simple Storage Service（S3）から取得したデータをアプリケーションへ返す前に、独自のコードを追加して処理できる「Amazon S3 Object Lambda」の提供を、3月18日（現地時間）に開始した。 Amazon S3 Object Lambdaは、既存のアプリケーションと連携してAWS Lambda関数を使用し、Amazon S3から取得するデータを自動的に処理・変換する。Lambda関数は標準のS3 GET requestを使ってインラインで呼び出せるので、アプリケーションコードを変更する必要はない。 Amazon S3 Object Lambdaの使用によって、以下のようなユースケースの単純化が可能になる。 分析環境または非実稼働環境で個人を特定できる情報を編集 XMLからJSONへの変換など、デー
S3のアクセスコントロールリスト(ACL)とは ACLを一言でいうと 「被付与者」に「バケット・オブジェクト」への「アクセス」を許可するもの です。 「被付与者」や「アクセス」には色々な種類があります。 以降で説明していきます。 被付与者(Grantee) 被付与者(Grantee) は バケット・オブジェクトへアクセスするユーザー を指します。 被付与者の実態は 「AWSアカウント」もしくは「事前定義済み S3グループ」 です。 AWSアカウント(正規ユーザーID) S3の ACLにおいては 正規ユーザーID を使ってAWSアカウントを表します。 正規ユーザー ID は、 AWS アカウント に関連付けられています。 この ID は、 79a59df900b949e55d96a1e698fbacedfd6e09d98eacf8f8d5218e7cd47ef2be のような長い文字列です。
「Amazon S3 インターフェースエンドポイント（PrivateLink）ではプライベート DNS をサポートしていません」 の意味を絵をかいて腹落ちさせてみた | DevelopersIO
「Amazon S3 インターフェースエンドポイント（PrivateLink）ではプライベート DNS をサポートしていません」 の意味を絵をかいて腹落ちさせてみた 2023/3/15追記 「サポートしていません」の時代に本エントリを書いたのですが、アップデートによりサポートされるようになりました。その内容を以下エントリに書きました。 以降の記述は当時の内容としてお楽しみください。上記のエントリとあわせて読むとより理解が捗ると思います。 コンバンハ、千葉（幸）です。 先日、Amazon S3 向けの PrivateLink（インターフェースエンドポイント）がサポートされました。 これによりオンプレミスから S3 へのプライベートアクセスが、簡単に構成できるようになりました。 注意点として、S3 インターフェースエンドポイントではプライベート DNS 名が使用できないというものがあります。
Announcing Amazon Relational Database Service (RDS) Snapshot Export to S3
You can now export Amazon Relational Database Service (Amazon RDS) or Amazon Aurora snapshots to Amazon S3 as Apache Parquet, an efficient open columnar storage format for analytics. The Parquet format is up to 2x faster to export and consumes up to 6x less storage in Amazon S3, compared to text formats. You can analyze the exported data with other AWS services such as Amazon Athena, Amazon EMR, a
AWSがAmazon S3でデータ暗号化の自動適用を開始、暗号化されていない既存バケットはどうなる？
AWSがAmazon S3でデータ暗号化の自動適用を開始、暗号化されていない既存バケットはどうなる？：暗号化設定のし忘れを防止 AWSはオブジェクトストレージの「Amazon S3」で、新規オブジェクトをユーザー側の操作なしにデフォルトで暗号化するようにしたと発表した。2023年1月5日より、世界中の全リージョンで適用が開始された。 Amazon Web Services（AWS）は2023年1月5日（米国時間）、オブジェクトストレージサービス「Amazon S3」で、オブジェクト暗号化の自動適用を開始したと発表した。世界中全てのリージョンが対象。これにより、暗号化設定のし忘れに起因するデータ漏洩（ろうえい）を防止する。 暗号化では、AWSが2011年より提供してきた「Amazon S3 Server Side Encryption（SSE-S3）」をデフォルトで適用する。SSE-S3では
AWS CLIを利用し、Amazon S3バケットのpre-signed urlsを取得してみました | DevelopersIO
こんにちは、イムチェジョンです。 今回のブログではS3バケットのオブジェクトを開くためにAWS CLIを利用してpre-signed urlsを取得してみました。 アジェンダ pre-signed urlsとは？ pre-signed urlsの取得方法 まとめ 1. pre-signed urlsとは？ すべてのオブジェクト及びバケットは基本的にプライベートだが、pre-signed urlsを使用して選択的にオブジェクトを共有できる 顧客/ユーザーがAWSセキュリティ資格証明や権限なしに、バケットにオブジェクトをアップロードすることを許容できる pre-signed urlsの構成 pre-signed urlsは下のように構成されてます。 https://s3.amazonaws.com/examplebucket/test.txt? X-Amz-Algorithm=AWS4-HMA
Python で RDS に格納されている各種ログをダウンロードする - 継続は力なり
タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウンロードし,S3 などにアップロードしていけばコスト削減に繋がりそうです.この記事では,ダウンロードを Python でやってみた内容をまとめていきます. aws.amazon.com Python で RDS ログダウンロードのための手段 DownloadCompleteLogFile でのログダウンロードを試してみる まとめ Python で RDS ログダウンロードのための手段 boto3 のドキュメントを見てみたらログダウンロードをするのに, download_db_log
CloudFront + S3環境から Cloudflare R2 + Workers環境に移行した話
吉祥寺.pm32 https://kichijojipm.connpass.com/event/276411/ で発表した 「CloudFront + S3環境から Cloudflare R2 + Workers環境に移行した話」の資料になります。 その後、本LTの元ネタとなった記事をQiitaに書きました。 https://qiita.com/teckl/items/4314aa210a689d08e759
GitHub - awslabs/mountpoint-s3: A simple, high-throughput file client for mounting an Amazon S3 bucket as a local file system.
Mountpoint for Amazon S3 is a simple, high-throughput file client for mounting an Amazon S3 bucket as a local file system. With Mountpoint for Amazon S3, your applications can access objects stored in Amazon S3 through file operations like open and read. Mountpoint for Amazon S3 automatically translates these operations into S3 object API calls, giving your applications access to the elastic stora
Amazon Web Services ブログ AWS DataSync を使った Amazon S3 へのデータ同期 このブログは2021年8月24日に David DeLuca (Senior Storage Solution Architect)によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 オンプレミスからクラウドへデータを移行する際には、スピード、効率、ネットワーク帯域、コストなど、考慮すべき要素が数多くあります。多くの企業が直面する共通の課題は、大量のデータをオンプレミスから Amazon S3 バケットにコピーする際の適切なユーティリティの選択です。 私はよく、お客様が無料のデータ転送ユーティリティーや AWS Snow Family デバイスを使って、データをS3に取り込むことから始めるケースを目にします。また、同じお客様が AWS DataSy
最近では『マルチクラウド』環境で仕事を回すというのも珍しい話では無くなって来ました。クラウドプラットフォーム間を連携するというのも普通に挙がってくるテーマかと思います。 そんな『マルチクラウド』の環境間で『データの移動』という部分について考えてみた場合、ざっと見てみた感じだと『AWS』から『GCP』については比較的情報量が多いなという印象を受けました。GCPが公式で『AWS向け』のドキュメントを展開しているというのも大いに関係しているかと思います。 ですが一方で、『GCP』から『AWS』という逆のパターンだとどうでしょう。AWSが個別に『GCP向け』の情報を展開しているというのは現状無さそうです。また、その他情報源についてはどうでしょうか？感覚値的には『AWS→GCP』程は情報量的に多くないのでは、という感じがします。 そこで当エントリでは、『GCP(Google Cloud Platfo
S3のバケットポリシーでハマったので、S3へのアクセスを許可するPrincipalの設定を整理する | DevelopersIO
複数AWSアカウントを使用していると、「１つのAWSアカウントのS3にデータを集約したい。」なんてニーズがでてきます。 S3のバケットポリシーのPrincipalを設定する際、アクセスができなくてハマったので本ブログはその備忘録です。 S3はデータ置き場としてとても使えるやつで、他のアカウントと共有することも多いです。 複数AWSアカウントを使用していると、「１つのAWSアカウントのS3にデータを集約したい。」なんてニーズがでてきます。 S3のバケットポリシーのPrincipalを設定する際、アクセスができなくてハマったので本ブログはその備忘録です。 S3がリクエストを許可する方法 S3がバケットオペレーションのリクエストを許可する方法は、公式ドキュメントに記載されています。 Amazon S3 がバケットオペレーションのリクエストを許可する方法 - Amazon Simple Stora
[AWS CDK(Cloud Development Kit)] スタック削除時にS3バケットも削除されるように設定する | DevelopersIO
コンニチハ、千葉です。 CDKの検証で、スタック環境を作成、削除をしていたのですが、cdk destroy を実行しても作成したS3バケットが残ってました。なぜだろう？と思い調査をはじめました。 背景 GitHubのイシューを見つけました。 S3のデフォルトは削除ポリシーがRetain(つまりCFnスタックを削除されてもバケットが残る) この動作は、cdk destroy を実行した場合に、失敗することがあるため。理由としては、S3バケットが空でないとバケットが削除できない CloudWatchロググループもRetainとなっている 今後、デフォルト値がアップデートされる可能性がありますが、現状はRetainとなっています。 デフォルトの挙動確認 デフォルトの動作確認です。通常通りS3を作成してみます。コードは以下です。 from aws_cdk import ( aws_s3 as s3
![[AWS CDK(Cloud Development Kit)] スタック削除時にS3バケットも削除されるように設定する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b3e2a7c179f476b77a4d8776332d9d9f737e6d55/height=288;version=1;width=512/https%3A%2F%2Fd1tlzifd8jdoy4.cloudfront.net%2Fwp-content%2Fuploads%2F2019%2F08%2Faws-cloud-development-kit.png)
AWS CLI で高レベル (S3) コマンドを使用する - AWS Command Line Interface
AWS CLI をインストールして設定します。詳細については、AWS CLI の最新バージョンを使用してインストールまたは更新を行う および 認証とアクセス認証情報 を参照してください。 使用するプロファイルには、例によって実行される AWS オペレーションに対する許可が必要です。 Amazon S3 の以下の用語を解説します。 開始する前に このセクションでは、aws s3 コマンドを使用する前の注意事項をいくつか示します。 大容量オブジェクトのアップロード aws s3 コマンドを使用して大きなオブジェクトを Amazon S3 バケットにアップロードする場合、AWS CLI は自動的にマルチパートアップロードを実行します。これらの aws s3 コマンドを使用した場合、失敗したアップロードを再開することはできません。 マルチパートアップロードがタイムアウトして失敗した場合、または A
新機能 – Amazon DynamoDB テーブルデータを Amazon S3 のデータレイクにエクスポート。コードの記述は不要 | Amazon Web Services
Amazon Web Services ブログ 新機能 – Amazon DynamoDB テーブルデータを Amazon S3 のデータレイクにエクスポート。コードの記述は不要 2012 年のリリース以来、数十万の AWS のお客様がミッションクリティカルなワークロードに Amazon DynamoDB を選択しています。DynamoDB は、非リレーショナルマネージドデータベースで、事実上無限のデータを格納し、1 桁ミリ秒のパフォーマンスで任意のスケールで取得できます。 このデータから最大限の価値を引き出すには、お客様は AWS Data Pipeline、Amazon EMR、または DynamoDB ストリームに基づくその他のソリューションを利用する必要がありました。このようなソリューションでは通常、読み取りスループットの高いカスタムアプリケーションを構築する必要があるため、メンテ
S3 に格納したリソースを CloudFront を介してのみアクセスできるようにする鉄板構成をCDKで構築します。 やりたいこと S3 に置いてある JSON ファイルを CloudFront で配信し、CloudFrontを経由してのみアクセスできるように設定します。 使うもの Typescript AWS CDK AWS リソースを作成するのに AWS CDK を使い言語はTypescript で記述します。 本記事で利用した環境は以下の通りです。 tsc -v Version 3.7.4 cdk version 1.57.0 (build 2ccfc50) AWS リソースの作成 早速 AWS CDK を使って AWS リソースを作成しましょう。必要なリソースは S3 バケットと CloudFront です。 雛形の作成 からっぽのディレクトリを作成して、そこに CDK の雛形を作
よくあるケース あるサイト aaa.domain.com をとあるサーバで稼働しているが、bbb.domain.com というドメインに変更して、サーバも別インスタンスに移したい。 しかも、URL構造が変わっているので、単純にドメインごと転送、とかではダメだったりする。 こんな時どうするか？ よくあるのは、aaa.domain.com が動いているサーバのApacheとかにリダイレクトの設定を書くとかですよね。 でも、インスタンスをずっと動かしつづけないといけない。 AWSで全部できます できます。 route53でドメイン管理 まず、route53で、対象のドメインを管理するように設定します。 （もともと管理してあれば問題ないです。） サブドメイン単位でもroute53で管理対象にできます。こちら参照。 最初は、既存のDNSレコード設定をそのままroute53でも作ってから、NSレコード
こんにちは、イムチェジョンです。 今回のブログではAmazon S3の暗号化について調べてS3で提供してくれる二つの暗号化を実際にしてみようと思います。 アジェンダ Amazon S3の暗号化とは？ Amazon S3の暗号化４種類 SSE-S3の設定方法 SSE-KMSの設定方法 まとめ 1. Amazon S3の暗号化とは？ 暗号化を使用することで転送時と保管時にデータをもっと安全に保護できる 転送時：Amazon S3 との間でデータを送受信するとき 保管時：Amazon S3 データセンター内のディスクに格納されているとき 大きくサーバー側の暗号化とクライアント側の暗号化に分けている サーバー側の暗号化：SSE-S3、SSE-KMS、SSE-C データセンターのディスクに保存する前にオブジェクトを暗号化し、オブジェクトをダウンロードする際に解読するようAmazon S3に要請 クラ
Amazon S3 Select を使用して、サーバーまたはデータベースなしでデータをクエリする | Amazon Web Services
Amazon Web Services ブログ Amazon S3 Select を使用して、サーバーまたはデータベースなしでデータをクエリする AWS のソリューションアーキテクトとして、すべてのタイプの顧客とユースケースをサポートしてきました。私たちは定期的に同じフィードバックを受け取っています。システムとインフラストラクチャをデプロイして管理する代わりに、顧客は複雑さと管理オーバーヘッドを削減して、コアビジネスに集中したいと考えています。大量のデータから必要なものを効率的に検索することは難しいため、複雑さとオーバーヘッドが生じます。 この記事では、構造化クエリ言語 (SQL) クエリを使用して、コンマ区切り値 (CSV) ファイルとして Amazon Simple Storage Service (Amazon S3) にロードされたデータを検索します。以前は、データをクエリするには
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
S3のコストを大幅に削減した話 - Gunosy Tech Blog
S3へのファイル転送を高速化する手順 - skymatix Developers Blog
S3は巨大なKVSなのでRailsのCache storeとしても使える | うなすけとあれこれ
クラウドにおける安全なデータの廃棄 | Amazon Web Services
EC2からS3へアクセスする4つのルートとコスト - NRIネットコムBlog
S3バケットポリシーの具体例で学ぶAWSのPolicyドキュメント | DevelopersIO
Amazon S3 Object Lambdaが提供開始、S3から取得するデータの処理が可能に
S3のアクセスコントロールリスト(ACL)の基礎を学ぼう | DevelopersIO
AWS DataSync を使った Amazon S3 へのデータ同期 | Amazon Web Services
『GCPからAWSへのデータ移動』について考えて＆まとめてみる | DevelopersIO
S3 に格納したリソースを CloudFront で配信する構成をCDKで作る | DevelopersIO
AWSのみでサーバレスにURLリダイレクトする方法 - Qiita
Amazon S3の暗号化について調べてみた。 | DevelopersIO
uohhyou.com
www.nikkei.com
morimori928.hatenablog.jp
www.ii-toki.com
yhonda.hatenablog.com
pinku.ht.gob.jp