【Amazon S3 Streaming】AWS CLIを使って標準入出力とS3を直接つなぐ【小ネタ】 | DevelopersIO
よく訓練されたアップル信者、都元です。ひさびさのブログになってしまいました。リハビリも兼ねて、小ネタにて。 ローカルファイルシステムと標準入出力 まずは基礎的過ぎる話から。linuxシェル上で、ローカルファイルシステム上のファイルを標準出力に書き出したい時、例えばこんなコマンドを使いますね。 $ cat foo.txt 次に、シェルからちょっとしたテキストファイルを作成したいとき、下記のようにechoとリダイレクトを使って書き込みをすることがあると思います。 $ echo foobar >foo.txt 複数行に渡るファイルであれば、ヒアドキュメント *1を使ってこんな感じでしょうか。 $ cat << _EOF_ >bar.txt aaa bbb _EOF_ ローカルファイルシステムとAmazon S3 さて一方で。AWS CLIでは、下記のようにs3 cpサブコマンドで、S3とローカル
S3をgitのリモートリポジトリにする - so what
3年前の話題が自分的に再燃したので、ブログを書く。 要約 jgit(パッチバージョン)を使うとS3をリモートリポジトリにできます gitのカスタムコマンドを作るとさらにシームレスに連携できます jgit jgitはJavaで実装されたgitでEclipseのプラグインなどで使われているが、S3をリポジトリにできるというおもしろ機能がある。 ただし、本家のバージョンではus-east-1しか使えなくて「うーむ…」と思っていたのだが、ソース見たら案外簡単に直せそうだったので、直してプルリクを投げた。 修正版jgitの作り方 brew install maven git clone https://github.com/winebarrel/jgit.git cd jgit git checkout origin/support_for_other_region -b support_for_o
fluent-plugin-s3で、time_slice_format %Y%m%dにしてても、一日に複数ファイルがでてくる件
ログのバックアップをfluentd経由でs3に転送するようにしたのですが、time_slice_format %Y%m%dにしてても、一日に複数ファイルが生成されていました。 こんな感じ 原因がよく分からなかったのでtwitterでつぶやいてみたら、@frsyukiが返答してくださいました！ twitterでのやり取りはこちらにまとめました。 fluent-plugin-s3で、time_slice_format %Y%m%dにしてても、一日に複数ファイルがでてくる件解決策↓のように、buffer_chunk_limitを大きい値で設定すればOKでした。 原因原因は、buffer pluginで指定される、buffer_chunk_limitがデフォルトの8M(2012/11/27現在)だったためです。 chunkは一時的なデータの格納場所で、fluent-plugin-s3ではbuffe
WordPressをStaticPress+Amazon S3+Vagrantでセキュリティ万全にする方法 [前編] - @masuidrive blog
最近、大規模なWordPressのサイトの乗っ取りが発生しました。今回の原因はWordPressではなくサーバの設定に問題があったようですが、LAMPサーバの設定を正しく行うのは難しいですし、ApacheやPHP、WordPressのバージョンアップをきちんと行っていくのは、結構大変です。 自分でサーバを運用していて、セキュリティ対策をきちんとしていると言える人は、実はあまり多くないのでは無いでしょうか？プラグインなどを複数導入している場合には、それらのプラグインのセキュリティ対策を行うのはかなり難しいといえます。 そんな中、高セキュリティ環境でWordPressを運用する方法はないのか考えてみました。それにはサーバ上でアプリを動かさないのが一番では無いでしょうか？ 私のブログであれば、Voteなど動的な機能は使っていないので、WordPressのデータから静的なHTMLを生成して、Ama
![WordPressをStaticPress+Amazon S3+Vagrantでセキュリティ万全にする方法 [前編] - @masuidrive blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/5c5c3e4330805bfc33fc80aa0e5843be18a0177d/height=288;version=1;width=512/http%3A%2F%2Ffarm1.staticflickr.com%2F6%2F5961468_60d27d4dde_m.jpg)
S3ってなんじゃ？（CloudFrontでアクセス制御：Origin Access Identity × 署名付きURL）
S3ってなんじゃ？（CloudFrontでアクセス制御：Origin Access Identity × 署名付きURL） CloudFrontでアプリを通してのアクセス以外にはコンテンツを配信させたくないという場合があります。 ここでは、CDPデザインパターンに以下のようなパターンがありました。 CDP:Private Cache Distributionパターン このパターンによると、CloudFrontに対して署名付きURLを送信することで、アクセス条件を制限することができるようです。今回はこれを使ってみたいと思います。 ちなみにindex.htmlは以下の様な内容です。 <html> <head> <title>private</title> </head> <body> <h1>This is Private Contents</h1> </body> </html> Cloud
Flashで別ドメインから署名付きURLでCloudFrontにアクセスするときの問題 | DevelopersIO
前回に引き続き今回も担当したプロジェクトでAWSを使用したので、同じく事例を書いてみました。 ■FlashとCloudFrontを使ったプロジェクト 担当したプロジェクトは、UIにFlashを採用し、要件として様々な形式のファイルがアップロード可能（保存）かつ、ダウンロードも可能（閲覧）である事、さらにダウンロードの速度についてもある程度の速さを求められるというものでした。 扱うファイルは大別して二種類あり、ひとつは機密性が重視されるファイルで外部に漏洩させることが出来ないファイル。 もうひとつは、共有するユーザー間でのみ公開を目的としたファイルや、アップロードした画像ファイルから生成したサムネイルファイルなど外部へ漏洩したとしても比較的問題のないファイルです。 そこで、CloudFrontを使った構成を考えました。 CloudFrontはS3上のファイルをキャッシュし、物理的にユーザーか
ねずみの大行進 Σ≡≡ヾ(=￣ω￣)ﾉ : s3sync.rb パラレル（並列）処理
2010年02月14日16:07 カテゴリAmazon Web ServicesAmazon S3 s3sync.rb パラレル（並列）処理 前回はs3sync.rbの使い方を書きました。 実際にファイルをアップロードすると結構時間が かかります。 そこで、パラレルにファイルをアップロードしたいと思います。 ■内容 ルートディレクトリをアップロードするのではなく 何階層か降りたディレクトリをアップロードする。 ※下記はroot/年/月/日付/記事番号/イメージファイルがあり 日付毎にアップロードをします。 (例) images -- 2009 -- 12 -- 01 -- 1000 -- xxx.png 01 -- 1200 -- xxx.png 15 --
Amazon EC2/S3を使ってみた - 8.EC2とS3のデータを同期させる(S3Syncを使う) - 元RX-7乗りの適当な日々
Amazon EC2のインスタンスは一度シャットダウンしてしまうと、そのインスタンスで保持していたディスクの内容は全て消滅してしまいます。 そこで「Amazon EC2/S3を使ってみた - 3.EC2起動後〜AMI作成」では、自分でカスタマイズ＆利用したインスタンスのイメージを、バックエンドのストレージであるAmazon S3に保存する方法を紹介しました。 しかし、これはOSのイメージをまるごとフルバックアップする方法に近いため、定期的に行うバックアップとしては非効率的な方法です。 定期的に行うべきなのは、サービスなどで日々更新されるような特定のデータやログなど、必要なデータをピンポイントでバックアップすることが効率的です。 そこで、今回は"S3Sync"を使ってみます。 http://s3sync.net/wiki この"S3Sync"は、(EC2に限らず)あるサーバからAmazon
Amazon S3とSSL | ふるかわごうのブログ
今朝のエントリーの書き忘れ。 S3は独自ドメインじゃなければ、SSLでも接続できます。*.s3.amazonaws.comのSSL証明書が入っているようです。 というわけで、 https://[bucket_name].s3.amazonaws.com/[file_name] でもアクセスできるのだけど、 bucketnameにピリオドが入るとダメなんですよね（*の入ってる証明書って、そういうもの？）。 CloudFrontのほうはSSLでは接続できず。 SSLと非SSLを混在させたくないときにも使えるかなあと思ったんですけど、その場合はS3でs3.amazonaws.comを使えということですね。
AWS S3 東京リージョン – TATSUYA.info
試しに使ってみたけど、確かに近いですね。 速度的にも結構出るし。 1 gw (192.168.250.254) 0.518 ms 0.327 ms 0.378 ms 2 gw.local.s-lines.net (192.168.200.254) 0.781 ms 0.751 ms 0.795 ms 3 Wst6NF1.vectant.ne.jp (163.139.124.100) 14.064 ms 13.625 ms 13.857 ms 4 163.139.124.126 (163.139.124.126) 14.541 ms 14.279 ms 14.328 ms 5 163-139-68-225.rv.vectant.ne.jp (163.139.68.225) 14.419 ms 13.785 ms 13.887 ms 6 163-139-68-197.rv.vectant.ne
AWS News Blog
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クラウドとサーバーを同期できる便利ツール「S3Sync」 ～Amazon EC2/S3環境構築のすべて～
notfound