Amazon S3の空のバケットに対してアクセスされると、たとえそれが第三者からの不正アクセスでエラーが返ったとしてもリクエスト料金が発生してしまうという現象について、AWSが修正を完了したと5月13日付けで明らかにしました。 これまでは空のバケットへのアクセス方法を知っている第三者が大量のリクエストを発行した場合、例えその結果「AccessDenied」（HTTP 403 Forbidden） エラーが返ったとしても、バケットの所有者には大量のリクエスト処理による利用料金が請求されてしまうという問題が発生していました。また、実質的にこれを防ぐ方法はないとされていました（AWSのドキュメント）。 4月30日にあるAWSユーザーのブログによってこの現象が明らかになった後、AWSのエンジニアは直ちに修正作業に入ったことが同社のチーフエバンジェリストであるJeff Barr氏によって示されました
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場合も Redshift には未対応 終わりに 付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ 色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよ ただし、細かい落とし穴は色々あるので気をつけてね はじめに2023年4月にデータエンジニアとして入社したmin（@not_rogue）です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が
Amazon S3のコンテンツを配信したい場合、S3の静的ウェブサイトホスティングを使用したり、S3の前段にCloudFront(CDN)を配置して配信することが多いかと思います。今回は、3つ目の選択肢として、S3をALBから配信する構成について紹介します。 S3バケットをプライベートにしたまま、ALBレイヤーでHTPS通信化や認証やセキュリティグループのアクセス制限を行うことができます。アプリケーションで利用するALBにS3配信を集約させることも可能です。また、外部･内部どちらのALBでも採用できます。 オンプレミスからプライベート通信によるS3アクセス 認証付きURL/CookieでS3コンテンツを配信する代替案として、ALB認証でS3配信 などで有用です。 構成ポイント 本構成の肝はALBのターゲットにS3のインターフェース型VPCエンドポイントのIPを指定すること(昔からあるゲート
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon S3が不正なリクエストでも利用料が加算される現象、AWSが修正を完了したと報告
DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog
ALBからS3コンテンツを配信してみた | DevelopersIO