GitHub - fluent/fluent-plugin-s3: Amazon S3 input and output plugin for Fluentd
Amazon S3 plugin for Fluentd Overview s3 output plugin buffers event logs in local file and upload it to S3 periodically. This plugin splits files exactly by using the time of event logs (not the time when the logs are received). For example, a log '2011-01-02 message B' is reached, and then another log '2011-01-03 message B' is reached in this order, the former one is stored in "20110102.gz" file
[AWS]S3の期限付きURLを生成する[node] | DevelopersIO
期限付きURLで安全にS3アクセス 先日aws-sdkのソースをみていたところ、pre signed url機能が実装されているのを見かけました。 pre signed urlとは、S3のオブジェクトに対して任意の期限を設定してアクセスさせるURLを生成するあれです。 今回はこの機能を試してみましょう。 環境構築方法 今回使用した動作環境は以下のとおりです。 OS : MacOS X 10.7.5 Node.js : v0.10.8 npm : 1.2.23 rake: 10.0.4 現在(2013/6/5)、aws-sdkは1.2.0がリリースされていますが、今回試すpre singed urlの機能は実装されていません。 ので、githubからソースを取得してそれを使用します。 git cloneでaws-sdkを取得し、rakeで依存ライブラリを取得しておきます。 % git clo
クラウドとサーバーを同期できる便利ツール「S3Sync」 ～Amazon EC2/S3環境構築のすべて～
はじめに 前回は、「Amazon EC2」のバックアップまわりの話題として、「Amazon EBS」の概要や使い方を紹介しました。 今回は「Amazon EC2」を取り巻くデータバックアップの方法の付録として、「Amazon EC2」のデータを「Amazon S3」と同期するツール「S3Sync」を紹介します。 前提条件 今回も「Amazon EC2 Command-Line Tools」を利用した方法を紹介していきます。作業前提として、基本的なセットアップが終了し、「Amazon EC2」インスタンス（仮想マシン）は起動しているものとします。セットアップや「Amazon EC2」でのインスタンス起動については、前回までの記事を参考にしてください。 また、今回紹介するツール「S3Sync」の利用には、別途Rubyが必要となります。「Amazon S3」への接続にHTTPSを利用している場合
料金 - Amazon S3（クラウドストレージ）｜AWS
S3 バケットにオブジェクトを保存するための料金をお支払いいただきます。課される料金は、オブジェクトのサイズ、当月中にオブジェクトを保管した期間の長さ、ストレージクラスが S3 標準、S3 Intelligent-Tiering、S3 標準 - 低頻度アクセス、S3 One Zone - 低頻度アクセス、S3 Express One Zone、S3 Glacier Instant Retrieval、S3 Glacier Flexible Retrieval (旧 S3 Glacier)、S3 Glacier Deep Archive のいずれであるかによって異なります。アクセスパターンをモニタリングし、アクセスティア間でオブジェクトを移動するには、S3 Intelligent-Tiering ストレージクラスに保管されているオブジェクトごとにモニタリングとオートメーションの月額料金をお支
よくある質問 - Amazon S3 ｜AWS
Q: Amazon S3 とは何ですか? Amazon S3 は、任意の量のデータの保存と取得をどこからでも行えるように設計されたオブジェクトストレージです。S3 は、業界をリードする耐久性、可用性、パフォーマンス、セキュリティ、および事実上無制限のスケーラビリティを非常に低コストで提供する、シンプルなストレージサービスです。 Q: Amazon S3 で何ができますか? Amazon S3 はシンプルなウェブサービスインターフェイスを提供しており、いつでも、どこからでも容量に関係なくデータを保存および取得できます。このサービスを利用すれば、クラウドネイティブなストレージを使用するアプリケーションを簡単に構築することができます。Amazon S3 は高度にスケーラブルで、お客様は使用したものに対して支払えばよいので、性能または信頼性を犠牲にせずに、アプリケーションを望むとおりに拡張すること
Amazon EC2を実践的に使ってみよう ～Amazon EC2/S3環境構築のすべて～
本連載では、Amazonが提供するクラウドコンピューティング・サービス「Amazon Web Services（AWS）」の概要から具体的な使い方までを紹介していきたいと思います。今回は、「Amazon EC2」をさらに便利に活用していくための実践的なオプションや、便利なツールを紹介していこうと思います。 はじめに 前回は、「Amazon EC2」を使用するための準備と、実際にインスタンス（仮想サーバ）を起動させるための基本的な手順を紹介しました。 今回は、その「Amazon EC2」をさらに便利に活用していくための実践的なオプションや、便利なツールを紹介していきます。 これまでの記事 第1回 「AWSの概要と登録手順 ～Amazon EC2/S3環境構築のすべて～」 第2回 「Amazon S3を使いこなしてみよう ～Amazon EC2/S3環境構築のすべて～」 第3回 「Amazon
Amazon S3をコマンドラインで操作するs3cmd – OpenGroove
追記（2013/10/20） AWSのCLIが新しくなってec2以外の個別サービスにひとつで対応できるようになったので、それを使えばこのツールは必要ない。新CLIの導入はこっちの記事に書きました。 前回に続いてプチS3ネタ。Amazon S3の操作をコマンドで実行するツール、s3cmdを、AWS上のLinux (CentOS)とMacに入れてみた。 こちらによると、パッケージ版よりベータのソース版の方がおすすめらしいのだが、Linuxはyumで、Macの方はソースで入れた。yumの場合epelリポジトリが使えるようになっていること。 # yum --enablerepo epel install s3cmd Macの方に入れたソースはs3cmd-1.1.0-beta3.zip。s3cmd.orgからダウンロードして、tar xvzf s3cmd-1.1.0-beta3.zipで展開する。展
S3: Amazon Linuxにs3cmdをインストールしてコマンドラインでS3を操作する - aws memo
S3は、まずは Management ConsoleやCloud Berry Explorer、CyberDuckといったGUIツールから使うか、 AWS SDK for PHP, Java, Ruby, .NET といったAPI経由で使うことが多い。(参考：S3の関連ツール・ライブラリ等 - aws memo ) バックアップ処理など、cronなどでスクリプトから操作したい場合は、s3cmdが便利。 インストール Amazon Linuxでデフォルト無効になっている epelリポジトリからインストール $ sudo yum -y --enablerepo epel install s3cmd もしくは、ここからyumのリポジトリファイルを取得して、/etc/yum.conf.d/にコピーした後にyum installする。 $ wget http://s3tools.org/repo/R
S3ってなんじゃ？（s3cmd syncではなくinotify+s3cmd sync (or put)）
S3ってなんじゃ？（s3cmd syncではなくinotify+s3cmd sync (or put)） 追記 2012/02/06：1ファイルずつなので普通にアップするだけならinotify + s3cmd putでいいかもと思い、題名変更しました。 以前に s3cmdの記事 を書きましたが、先日s3cmdで困った場面に遭遇したので、そのことを書きたいと思います。 問題 WEBサーバーからS3へのファイル同期にs3cmdを使ったプロジェクトがありました。 linuxのサーバーからS3へファイルを同期するのにs3cmdのsyncコマンドを使用しており、その同期がとても遅いというのです。ローカルで1ファイルを追加したとしても同期の度に数時間かかっているようでした。 状況を確認すると、同期対象のS3バケットの中には数百万ファイル存在していて、どうやらそれが問題のようです。 今回はそれを調べてみ
S3Sync.net - S3Sync Wiki
Welcome to S3Sync.net This is a community site for developers and users of the free and open source s3sync.rb and s3cmd.rb tools, which are interfaces to the Amazon S3 system. Discussion Forum This site provides a free forum to ask questions, discuss features, and report bugs. Please use this new forum instead of the old S3 forum thread. Get It s3sync README and s3cmd README Download *current* v
Linux端末からAmazon S3にファイルをアップロードする(s3cmd使用) at nkjmkzk.net
Virtualization, Operating System, Storage, Cloud Computing思うところあって4GByteのファイルをS3にアップロードしようとしていました。当初一番ユーザーフレンドリーなWeb Consoleを使用してアップロードを試みました。 しかしながら300MByteほどアップロードしたところで原因不明のErrorとなりうまくいきませんでした。AWSブログでも大容量ファイルのアップロードにはいささか改善の余地がある旨が記載されています。 http://aws.typepad.com/aws_japan/2010/11/amazon-s3-multipart-upload.html 同記事内のMultipart Uploadを試みようかと思いましたが、わざわざプログラムを書くほど繰り返し行う作業でもないので何かお手軽なツールはないかと思っていたら
Amazon S3 クローンまとめ
開発時からS3使うほど資金があるわけではないので、S3クローンを使って開発するためのまとめ。 完全互換というものばかりではけど、開発時にちょっと利用するというレベルで使えそうなものをピックアップ。 【Webサービス】Google Storage Googleが提供しているAmazonS3互換サービス。 価格はS3より若干高め。 以前より利用している開発者はまだ無料の利用範囲内で使えてそうだけど、今から申し込むと課金対象っぽい。 Web管理画面はこんなの。 【クラウド基盤ソフトウェア】Eucalyptus [Walrus]という名称のコンポーネントでS3互換のAPIを提供する。 ディストリビューション毎のパッケージが用意されていたり、Ubuntu Enterprise Cloud なんてのもある。S3だけじゃなくてEC2と同等の環境まで構築できる。 OpenStack NASAが開発していた
Amazon LinuxにFluentdをインストールしてS3とMongoDB連携する ｜ Developers.IO
あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start
blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。 これまでの連載 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行 複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思わ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS SDK for Ruby
GitHub - ms4720/s3sync: new home for s3sync command line tools
Simple Monthly Calculator
Riak Documentation
GitHub - basho/riak_cs: Riak CS is simple, available cloud storage built on Riak.
Amazon EMR（Hadoopなどのビッグデータフレームワークを簡単に実行）| AWS