[アップデート] Amazon S3でいくつかのHTTPエラーコードに対して課金されなくなりました | DevelopersIO
外部からS3バケットに対するアクセスエラー時の課金が気になる こんにちは、のんピ(@non____97)です。 皆さんは外部からS3バケットに対するアクセスエラー時の課金が気になったことはありますか? 私はあります。 Amazon S3ではAPIリクエスト数に応じて課金が発生します。 PUT、COPY、POST、LIST リクエスト (1,000 リクエストあたり) : 0.0047USD GET、SELECT、他のすべてのリクエスト (1,000 リクエストあたり) : 0.00037USD ※ いずれも東京リージョンのS3 Standardの場合 抜粋 : 料金 - Amazon S3 ｜AWS レスポンスステータスコードによって課金発生の判定は行われません。 その結果、以下記事で紹介しているとおり、外部から大量のアクセスがあり全て403 AccessDeniedであってもリクエスト数
![[アップデート] Amazon S3でいくつかのHTTPエラーコードに対して課金されなくなりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4f0f66fed1d804a85358499e6de8916d97c29394/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-s3.png)
Athena で S3 と MySQL を JOIN する | DevelopersIO
CDK の中で DB を初期化する点についても後ほど触れます。 S3 にサンプルデータをアップロードする 続いて、以下のコマンドで S3 にサンプルのデータを入れます。 bucket_name=$(aws cloudformation describe-stacks --stack-name BlogAthenaJoinS3AndMysqlStack --output text --query 'Stacks[0].Outputs[?OutputKey==`BucketName`].OutputValue') aws s3 cp ./s3_test_data/data "s3://${bucket_name}/data" --recursive これで CloudFormation で作成した S3 バケット名を取得し、そのバケットに以下の CSV ファイルをアップロードしました。 ※4都
SnowflakeでAWS S3 Express One Zoneを使うとどれだけ速いのか
SnowflakeでAWS S3 Express One Zoneを組み合わせて、パフォーマンスと互換性を検証したので結果を共有する。 互換性テストが通らなくても、一部の機能は使用できるようだ。 結論 読み取り系のワークロードでは、最大16%ほどのクエリパフォーマンスの改善が見られた。 ただし、現時点では、スタンダードなS3バケットからExpress One Zoneへ移行する必要はない。 現時点では移行するメリットをデメリットが上回る。 まず、書き込み系の操作はエラーで実行できない。 また、LISTなどバケット全体のスキャンを行うクエリでは、最大20倍も遅くなった。 全体的にSnowflakeの内部のコードがExpress One Zoneを想定していないようでエラーが頻発した。 未サポートなので当然だが日常的な使用は厳しい。 SnowflakeでExpress One Zoneを活用し
SnowflakeとAWS S3 Express One Zoneの相性が気になった
Express One ZoneとSnowflakeの相性が気になった 昨年12月にAWS Express One Zoneが発表された。 新しい Amazon S3 Express One Zone ストレージクラスは、S3 標準ストレージクラスの最大 10 倍のパフォーマンスを実現しながら、一貫した 1 桁ミリ秒のレイテンシーで毎秒数十万のリクエストを処理できるように設計されています。 本当ならSnowflakeの外部ステージに使えば爆速外部テーブルができるのでは。 [1/13追記] 使えそう テストケースが通らなくても一部機能は使えるようだ。 以下の記事で検証した。 [1/12]現時点ではSnowflakeの外部ステージでは使えなさそう テストケースが通らない。 [ERROR] Errors: [ERROR] S3CompatApiTest.copyObject:360->uploa
Amazon S3 Express One Zoneの性能測定をしてみた - NRIネットコムBlog
こんにちは、佐々木です。re:Inventの基調講演で発表されたAmazon S3 Express One Zoneについて、さっそく調査してみました。 写真は、re:Inventの会場にいたS3のマスコットキャラです。イベント初日は、Express One Zoneの腹巻をしていなかったのですが、サービス発表後はExpress One Zoneという名前で会場内を闊歩していました。 Amazon S3 Express One Zoneとは？ Amazon S3 Express One Zoneは、S3の新しいストレージクラスです。従来も、ひとつのAZのみにデータを配置するOne Zoneもありましたが、これはコスト削減を主眼としたストレージクラスです。今回発表されたExpress One Zoneは、名前に明記している通り、速さに特化したサービスラインナップです。発表では、特に小さなファ
【新機能】LOAD DATA文（Cross-cloud transfer）でS3のファイルをBigQueryテーブルへロードできるようになりました | DevelopersIO
データアナリティクス事業本部、池田です。 昨日、BigQueryの LOAD DATA 文（Cross-cloud transfer）が GA となりました。 【 BigQuery release notes > November 09, 2022 】 【 Cross-cloud transfer from Amazon S3 】 ※執筆時点では日本語のガイドは未更新 もともと BigQuery Omni の 外部テーブル でAmazon S3など別クラウドのストレージを参照することはできました。 ↓この辺は以前ブログにしています。 S3からBigQueryへ連携する方法いろいろ（Omni/Transfer Service） ※現在はストレージへのアクセスなどは BigLake の機能として整備されました。 ただし、S3の場合、その外部テーブルは aws-us-east-1 という特別なリ
Amazon S3 バケット内のファイルを保護します
Amazon Simple Storage Service (Amazon S3) リソースへのアクセス権限を制限し、これらのリソースへのアクセスを監視したいと考えています。 簡単な説明 ファイルと Amazon S3 バケットが安全であることを確認するには、以下のベストプラクティスに従ってください。 **S3 リソースへのアクセスを制限します。**AWS を使用するときは、リソースへのアクセスをどうしてもそれを必要とする人に限定してください。最小権限の原則に従ってください。 S3 リソースを監視:AWS CloudTrail ログ、S3 サーバーアクセスロギング、AWS Config、AWS IAM Access Analyzer、Amazon Macie、Amazon CloudWatch、またはAWS Trusted Advisor の S3 バケット権限チェックを使用してリソースを
Amazon S3 + Amazon CloudFrontでWebサイトを構築する際にS3静的Webサイトホスティングを採用する理由 | DevelopersIO
はじめに 静的Webサイトを構築する際にAmazon S3とAmazon CloudFrontを利用するアーキテクチャは定番ですが、これらを利用したアーキテクチャには2つの手法があります。 オリジンアクセスアイデンティティを使って、S3バケットへのアクセスをCloudFrontディストリビューションからのみに制限する方法 S3の静的ウェブサイトホスティングを有効化し、CloudFrontにカスタムドメインとして設定する方法 前者がベターに思えるかもしれませんが、後者の方が良い場合もあります。それは ランディングページなどのシンプルなHTMLベースで構築するWebサイトの場合 です。 本記事では、どういった理由でS3のウェブサイトホスティングを採用するか解説します。 リダイレクト設定がかんたん 静的Webサイトホスティングにはリダイレクトを自由にカスタマイズできるRedirection Ru
最新情報 – Amazon S3 バッチオペレーション | Amazon Web Services
Amazon Web Services ブログ 最新情報 – Amazon S3 バッチオペレーション AWS のお客様は、S3 の規模、耐久性、低コスト、セキュリティ、およびストレージのオプションを利用して、個々の Amazon Simple Storage Service (S3) バケットに何十億にも及ぶオブジェクトを定期的に保存しています。お客様は、イメージ、ビデオ、ログファイル、バックアップ、およびその他のミッションクリティカルなデータを保存し、データストレージ戦略の重要な部分として S3 を使用しています。 バッチオペレーション 今回は、Amazon S3 バッチオペレーションについて説明したいと考えています。この新機能を使用すると、数百、数百万、または数十億の S3 オブジェクトを簡単かつ直接的に処理することができます。オブジェクトを別のバケットにコピーしたり、タグを設定した
新しい Amazon S3 ストレージクラス – Glacier Deep Archive | Amazon Web Services
Amazon Web Services ブログ 新しい Amazon S3 ストレージクラス – Glacier Deep Archive AWS のお客様の多くは、大量 (大抵の場合ペタバイト以上) の重要データを収集して保存しますが、そのデータにアクセスすることはほとんどありません。raw データを収集してからすぐに処理し、その後万が一さらに処理または分析する必要が生じたときのために数年または数十年にわたって保存しておく場合もあれば、データをコンプライアンスまたは監査目的のために保持する場合もあります。このパターンに当てはまる業界とユースケースには以下のようなものがあります。 金融 – 取引アーカイブ、活動 & 監査ログ、および通信ログ。 ヘルスケア/ライフサイエンス – 電子医療カルテ、医療画像 (レントゲン、MRI、または CT)、遺伝子配列、製剤開発の記録。 メディア & エンタ
S3が数十億におよぶ大量オブジェクトへのバッチ処理機能を発表！（プレビュー） #reinvent | DevelopersIO
「S3の大量オブジェクトに一括でAPI流したい人生だった」 そんなあなたに朗報。S3の複数のオブジェクトに対して一括でバッチ処理を実行する機能が発表されました。現在、まだプレビュー受付中ですが、全国のS3ファンの皆様、まずは申し込んでみてはいかがでしょう？ Amazon S3 Introduces S3 Batch Operations (Preview) for Object Management S3ﾊﾞｯﾁ処理きたか…!! ( ﾟдﾟ) ｶﾞﾀｯ / ヾ ＿_L| /￣￣￣/＿ ＼/ / S3バッチ一括処理機能とは？ Amazon S3に格納されている数十億のオブジェクトに対して、一括でAPIリクエストやWebコンソール操作を実行および管理できる機能です。 今まで辛かった点と良くなる点 今まで大量のオブジェクトに対してそれぞれのオブジェクトに対して個別に処理が必要であったため
MySQLの外の世界も含んだトランザクション - 角待ちは対空
トランザクションとは一般的な不可分な一連の処理という意味で使っているが、例えばS3に画像データをアップロードしMySQLにはそのキーを保存したいみたいな場合の話。 MySQLへの書き込みだけであればそれこそMySQL(ストレージエンジンか)に備わっているトランザクション機能を使えば良い。しかしながらS3のバケットの状態とも整合性を取りたいとなると少しむずかしい。S3へのアップロードは失敗するかもしれないし、失敗したのを検知して復帰処理を書いたとしてもそれが失敗するかもしれない。 簡単のためS3に画像をアップロードしテーブルに1レコード挿入することを考える。実際のアプリケーションでは非同期でやりたいこともあれば同期的に処理で十分な場合もあるが、簡単のため後者を考える。キーはuuid()とする。 このシチュエーションで考えられる作戦は (MySQLの)トランザクションを張り、その中でS3へアッ
Amazon GlacierはストレージとしてBlu-rayディスクを利用しているかも
by Jonathan Gross Amazonが2012年に提供を開始したオンラインストレージ「Amazon Glacier」はきわめて安い価格で大量のデータを保存することができます。その保存媒体は、我々が直接見る機会はありませんが、実はわりと身近なBlu-rayディスクかもしれません。 Amazon’s Glacier secret: BDXL https://storagemojo.com/2014/04/25/amazons-glacier-secret-bdxl/ Amazon Glacierは「1GBあたり月額0.01ドル(約0.8円)で容量無制限」をウリに、2012年8月からサービスの提供が始まったオンラインストレージです。この価格は2017年1月現在、0.004ドル(約0.5円)に下がっています。 ストレージ情報サイトのStorage Mojoは、2014年にその正体をBl
【小ネタ】fastlyで柔軟なログ出力をするための方法 - Qiita
fastly導入にあたり、アクセスログはfastly経由のものを使うようにしようと計画している。 今回は、かなり小ネタだが、柔軟なアクセスログを出力する為の基本設定について書く。 LogFormatのバージョンアップ s3の保存先に日付フォーマットを入れる(Athena) ログを柔軟に操れるのは、Akamaiでは出来ないのでかなり優位な点かと思っている。 fastlyログのs3への出力設定は下記投稿が詳しい。 http://qiita.com/Satoshi-Ishii/items/1ec701a5d823807a3a78 LogFormatのバージョンアップ fastlyのログフォーマットについて fastlyには、ログのformatとして、v1とv2がある。 公式ドキュメントにあるとおり、デフォルトはv1になっており出力項目にかなり制限がありアクセスログとしてみた時に少し情報が少ない。
Private Presentation
Private content!This content has been marked as private by the uploader.
CloudFrontでマルチオリジンとCache Behavior設定してみた | DevelopersIO
はじめに 愛用の黒ぶちメガネのブランドは金子眼鏡の清水です。 CloudFrontにはオリジンを複数持ち、パスによって振り先を変えるマルチオリジン機能や、 パスによってキャッシュの動作を変えるCache Behavior機能があります。 具体的なイメージとして、AWS Black Belt Tech シリーズ 2016の資料を引用します。 この機能自体はわりと昔からあるものですが、 *1 今回このマルチオリジン、Cache Behaviorの機能を使用する機会がありましたので、 実際にManagement Consoleでの設定内容などをまとめてみたいと思います。 今回やってみた内容と構成 本エントリで実際にやってみたことは、以下の2つになります。 マルチオリジンでのパスによるオリジンの振り分け設定 同一オリジンでパスによる異なるキャッシュ設定の振り分け 構成と、各オリジンサーバでのファイ
Middleman + S3 + Fastly で作るブログ付きスタティックサイトのススメ
どうもこんにちは、僕です。働クリッカーが大盛況につき、 zeny.io へのアクセスが急増しまして、気がついたら AWS から出てきた Data Transfer の今月の請求額がちょっとヤバそうな感じになっていました。バズるの怖いっすね。 それでも Internal Server Error など出さず、粛々と(トロくても)動き続けていたのは、種も仕掛けもなく、純粋に S3 の上に HTML を配置しただけの簡単設計だったのがよかったのですが、さすがに .zip とか .app とか配布するとなると、転送量もばかにならないし、なにより遅い。 ということで、 Fastly を導入してもうちょい早くしたよ☆というのが今日のお題です。やったね！ Middleman は静的サイトのジェネレータです。普通に HTML を書くのはだるいけど、Rails とか Sinatra とか引っ張りだすほどじゃ
heroku+S3で遅延証明書をクローリングするアプリを作った話 - Qiita
この記事はフィードフォースエンジニア Advent Calendar 2015 - Adventar13日目です 昨日、12日目は 今年ソーシャルPLUSで捨てられた技術たち | feedforce Engineers' blog でした! 自己紹介 ドーモ、社内ニンジャスレイヤー推進おじさんのかせいさんです 普段はアプリケーションエンジニアとして、Railsアプリの運用、改善を進めております 今日は何話すの？ heroku+S3で動作する遅延証明書クローラーを作ったので、それの技術的要素についてのお話をします 遅延証明クローラー? 小田急線の遅延証明書のページは過去1週間分しか残しておらず、月末にまとめて印刷しようとすると困ったことになるので、定期的にクローリングしてS3に保存してくれるスクリプトを作ってみました クロールした後、こんな感じにクロールした結果の一覧を生成してくれます (リ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch
ログ管理のベストプラクティス
