nginxとS3を使って静的コンテンツを利用者を限定した形で利用できるようにする | DevelopersIO
久しぶりのブログになりました。齋藤です。 今日はS3に関するブログです。 はじめに 今回はS3をホストしているファイルに対してアクセス出来る人を制限したい、という話です。 今回は以下の内容で説明していきます。 S3バケットを作る S3に対して VPC エンドポイントを作成する S3バケットにバケットポリシーを設定して、VPC内のみからのアクセスに制限する EC2を起動して nginx を起動させる。 EC2のセキュリティグループを設定する nginxでbasic認証を設定する 今回はVPCはデフォルトのVPCを使いました。 必要に応じて、VPCのセットアップを行ってください。 S3バケットを作る とりあえずデフォルトで作りましょう。今回はマネージメントコンソールから作りました。 バケットの作成をやっていきます。 以下のように適切なバケット名をつけて作成します。（適切な設定をしてダイアログを
Amazon S3 path-style 廃止予定 – それから先の話 – | Amazon Web Services
Amazon Web Services ブログ Amazon S3 path-style 廃止予定 – それから先の話 – 先週(4/30)、私たちは非常に静かな（実際には静かすぎる）発表を行いました。S3 バケット内のオブジェクトのアドレスを指定するために使用される、パスベースのアクセスモデルについて、ゆっくりとそして慎重に廃止するという計画です。私はこのブログ記事を書くために、状況をよりよく理解すべく、S3チームと話し合うことに時間を費やしました。私が学んだことは以下です… S3 は、2006年の始めにサービスが開始されました。S3 における Jeff Bezosの考える元々の仕様は、非常に簡素なものでした。彼はインターネットにおける malloc （C言語プログラムにおけるキーメモリ割り当て関数）に相当するようなものを望んでいました。その出発点から、S3 は何兆ものオブジェクトを格納
【超重要】対応しないと使えなくなるかも？！今、全S3ユーザがチェックすべき署名バージョン２の廃止について | DevelopersIO
ご機嫌いかがでしょうか、豊崎です。 注意喚起記事です。一部のS3利用者に影響が出ることなので、是非ご確認、および対象の方はご対応いただければと思います。 具体的に何のことかというと、Amazon S3のAWS署名バーション２の廃止についてです。 弊社suzukiがすでに記事を書いていますが、Amazon S3のAWS署名バーション２が2019年6月24日に廃止されます。これは、より安全にAWSおよびS3を利用できるようにするために署名バージョンの変更が行われるためです。 これによって一部のAWSユーザのS3の利用に影響が出ます。 署名バージョン4専用のS3エンドポイントを古いCLIで試してみた AWSの各サービスのAPIを利用する際、AWSが送信元を特定できるようにリクエストに署名が必要です。現在AWSのAPIで利用されている署名バーションは「２」と「４」の２種類あり、「４」が推奨されてい
最新のログもすぐクエリできる速くて容量無限の最強ログ基盤をRedshift Spectrumで作る - クックパッド開発者ブログ
こんにちは。去年の今頃は Rust を書いていました。 インフラストラクチャー部データ基盤グループの id:koba789 です。 背景 クックパッドではデータ基盤の DBMS として Amazon Redshift を利用しています。 既存のデータ基盤について詳しいことは クックパッドのデータ活用基盤 - クックパッド開発者ブログ を参照してください。 今まで、ログは数時間に1度、定期実行ジョブで Redshift 内のテーブルにロードしていました。 ロードジョブの実行間隔が "数時間" と長めなのは、Redshift のトランザクションのコミットが遅いためです。 クックパッドでは数百ものログテーブルがあるため、仮に1分おきにすべてを取り込もうとすると秒間数回以上のコミットを行わなければなりません。 このような頻繁なコミットは Redshift 全体のパフォーマンスを悪化させてしまいます
【速報】全てのS3ユーザ必見！S3の性能が大幅パワーアップ！面倒なアレが不要に！ | DevelopersIO
皆さんこんばんは…。日本とほぼ半日時差のあるニューヨークでは、2018年7月15〜16日の日程で、AWS Summit 2018 New Yorkが開催されています。 ここで皆さんおなじみのAmazon S3に関する重大な発表が行われました！何が起きたのかを早速確認しましょう！ Amazon S3 Announces Increased Request Rate Performance | What's New with AWS 何が変わったのか？ 変更点を箇条書きでまとめます。 S3の書き込み/読み取りの性能が上がった PUT/POST/DELETE：3,500リクエスト/秒/プレフィックス GET：5,500リクエスト/秒/プレフィックス 自動的に性能増加(内部で並列処理) アプリケーション等の周辺環境に対し、事前設定や追加設定は一切不要 追加料金なし ※"プレフィックス"に関しては、
HadoopとS3 - Qiita
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の12/25分です。もともとYARNのApplication Timeline Server v2について書こうと思っていたのですが、気が変わってHadoopとS3の関係性について書いていこうと思います。もし期待していた方がいらっしゃったらごめんなさい。（ATSについては機会があればまた書きたいと思います。) 背景 S3について書こうとおもったのは、下記のような仕組みを作っている中でいろいろ思うところがあったからです。 システムがS3に吐き出す様々なログ、データやメトリクスをZepplinで可視化するための仕組みです。永続化したいデータはS3にしか置かず、SparkやZeppelinなどのコンポーネントはステートレスかつ拡張、もしくは別の計算フレームワ
Middleman + S3 + Fastly で作るブログ付きスタティックサイトのススメ
どうもこんにちは、僕です。働クリッカーが大盛況につき、 zeny.io へのアクセスが急増しまして、気がついたら AWS から出てきた Data Transfer の今月の請求額がちょっとヤバそうな感じになっていました。バズるの怖いっすね。 それでも Internal Server Error など出さず、粛々と(トロくても)動き続けていたのは、種も仕掛けもなく、純粋に S3 の上に HTML を配置しただけの簡単設計だったのがよかったのですが、さすがに .zip とか .app とか配布するとなると、転送量もばかにならないし、なにより遅い。 ということで、 Fastly を導入してもうちょい早くしたよ☆というのが今日のお題です。やったね！ Middleman は静的サイトのジェネレータです。普通に HTML を書くのはだるいけど、Rails とか Sinatra とか引っ張りだすほどじゃ
Stout Herrafataverslun fyrir Big & Tall
Lager- og bruna útsala Stout er aðeins í netverslun. Pantanir eru sóttar í verslun Curvy Fellsmúla 26. Athugið að töf getur verið á pöntunum þar sem lager Stout er ekki í sama húsnæði. Ef það vakna spurningar þá er símanúmerið okkar 581-1552 Curvy býður uppá frábært úrval af "plus size" fatnaði í stærðum frá 42-60. Stout er svo nýja herra línan okkar " Big & TAll " með stærðir frá 1XL-8XL
RubyとAWSでつくるメディアストレージ基盤 - Qiita
概要 本基盤の果たす役割としては、「利用者が本基盤に向けてファイルをアップロードし、なんらかの(変換を含む)処理を行って利用サービス側に通知する」というものになる。 そこで、想定する利用イメージを大まかにでも理解してもらうため、抽象的なイメージを図示する。 ファイルをアップロードしたいユーザーは、まず本基盤の利用サービスに対してアップロード権限の発行を依頼する。 図では省略したものの、利用サービス側はその依頼を受けて、本基盤に対してアップロードチケットの発行を依頼し、取得した情報をアップロードしたいユーザーに対して返す。 アップロードユーザーはそれを受けて、本基盤に対してファイルのアップロードを行い、アップロード・バリデーション・変換が済んだものについては本基盤が利用サービスに結果を通知するというのが大まかな流れとなる。 次に、本基盤の持つ責務について簡単に解説したい。 本基盤は、メディア
S3に画像をアップロードしたらLambdaでサムネイルを生成する(node-imagemagick) - Qiita
公式ドキュメントでは gm でサムネイルを作っているが node-imagemagick が入っているのでそのまま貼れば一応動く。 node-imagemagick はメンテされてないので gm を使ったほうがいいとは思う。 元画像用のバケットと、そのバケット名に -thumbnail のサフィックスを付けたサムネイル用バケットが必要。 S3 バケットを作る バケットとファンクションは同じリージョンに作る必要がある。 今回は US Standard に作った。 Lambda ファンクションを作る Lambda function code var fs = require('fs'); var im = require('imagemagick'); var aws = require('aws-sdk'); var s3 = new aws.S3({apiVersion: '2006-03
複数のクラウドサービス間でオブジェクトストレージの中身を同期する - クックパッド開発者ブログ
複数のクラウドサービス間でオブジェクトストレージの中身を同期する こんにちは。インフラストラクチャー部の加藤(@EugeneK)です。 クックパッドのすべてのレシピやつくれぽ等の画像はAmazon Web Services(以下AWS)のSimple Storage Service(以下S3)にオブジェクトとして保存されています。 S3は99.999999999%の堅牢性と99.99%の可用性を謳っていますが、ユーザさんから預かった大切なデータを守るため、万一に備えて別のクラウドストレージにもバックアップを行っています。 今回はそのオブジェクトを準リアルタイムでGoogle Cloud Storage(以下GCS)に同期されるようにした話をします。 S3にオブジェクトが追加されたことを知る S3にはEvent Notificationという機能があります。 この機能を用いると、S3のバケッ
Tutorial: Configuring a static website using a custom domain registered with Route 53 - Amazon Simple Storage Service
Tutorial: Configuring a static website using a custom domain registered with Route 53 Suppose that you want to host a static website on Amazon S3. You've registered a domain with Amazon Route 53 (for example, example.com), and you want requests for http://www.example.com and http://example.com to be served from your Amazon S3 content. You can use this walkthrough to learn how to host a static webs
MogileFS をバックエンドとしたPrivate S3の作り方 【後半】API 編
http://www.slideshare.net/lamanotrama/mogilefsprivate-s3 とワンセットの発表となります
GitHub - AssetSync/asset_sync: Synchronises Assets between Rails and S3
Asset Sync Synchronises Assets between Rails and S3. Asset Sync is built to run with the new Rails Asset Pipeline feature introduced in Rails 3.1. After you run bundle exec rake assets:precompile your assets will be synchronised to your S3 bucket, optionally deleting unused files and only uploading the files it needs to. This was initially built and is intended to work on Heroku but can work on an
AWS News Blog
Announcing General Availability of Step-by-Step Guides for Amazon Connect Agent Workspace At AWS re:Invent 2022 we announced the availability of step-by-step guides for Amazon Connect agent workspace in preview. My colleagues who collaborated to write the announcement post wrote about some of the challenges that contact centers face with training new agents to get up to speed with their agent desk
一定時間だけS3のオブジェクトにアクセスできるURLを生成する - There's an echo in my head
プライベートなバケットなんだけど、特定のURLを知ってる人だけがダウンロードするのを許可したいというときに使うやつ。 aws-sdk-rubyのv1だとAWS::S3Object#url_forで生成できたらしいんだけど、v2ではやり方が変わってるとのことなので試しにv2でやってみた。というかこれのコピペ。 # Gemfile gem "aws-sdk", "~> 2" # irbとか require "aws-sdk" s3 = Aws::S3::Client.new signer = Aws::S3::Presigner.new(client: s3) url = signer.presigned_url(:get_object, bucket: "my-private-bucket", key: "path/to/file.txt") デフォルトだと15分。presigned_url
Authenticating Requests: Using Query Parameters (AWS Signature Version 4) - Amazon Simple Storage Service
Authenticating Requests: Using Query Parameters (AWS Signature Version 4) As described in the authentication overview (see Authentication Methods), you can provide authentication information using query string parameters. Using query parameters to authenticate requests is useful when you want to express a request entirely in a URL. This method is also referred as presigning a URL. A use case scena
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - pankona/orochi: Like a distributed KVS
DeNA Engineering - DeNAエンジニアのポータルサイト
MogileFSをバックエンドとしたPrivate S3の作り方
