New – Amazon S3 Batch Operations | Amazon Web Services
AWS News Blog New – Amazon S3 Batch Operations AWS customers routinely store millions or billions of objects in individual Amazon Simple Storage Service (Amazon S3) buckets, taking advantage of S3’s scale, durability, low cost, security, and storage options. These customers store images, videos, log files, backups, and other mission-critical data, and use S3 as a crucial part of their data storage
New – AWS Transfer for SFTP – Fully Managed SFTP Service for Amazon S3 | AWS News Blog
AWS News Blog New – AWS Transfer for SFTP – Fully Managed SFTP Service for Amazon S3 Many organizations use SFTP (Secure File Transfer Protocol) as part of long-established data processing and partner integration workflows. While it would be easy to dismiss these systems as “legacy,” the reality is that they serve a useful purpose and will continue to do so for quite some time. We want to help our
S3DistCp (s3-dist-cp) - Amazon EMR
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 S3DistCp (s3-dist-cp) Apache DistCp は、データの大量を可能にするオープンソースのツールです。S3DistCp は DistCp、Amazon S3 と似ていますがAWS、特に Amazon S3 ので動作するように最適化されています。Amazon EMR バージョン 4.0DistCp 以降での S3 のコマンドはs3-dist-cp、クラスターのステップまたはコマンドラインに追加します。S3 を使用するとDistCp、Amazon S3 の大量のデータを HDFS に効率的にコピーできます。ここにコピーされたデータは、Amazon EMR クラスターの以降のステップで処理できます。また、S3DistCp を使用して、Amazon
S3 Select と Glacier Select – オブジェクトのサブセットを取得 | Amazon Web Services
Amazon Web Services ブログ S3 Select と Glacier Select – オブジェクトのサブセットを取得 Amazon Simple Storage Service (S3) は、各業界のマーケットリーダーが使用する数百万のアプリケーションのデータを保存しています。セキュアで耐久性のある非常に低コストのアーカイブストレージとして、これらの多くのお客様は Amazon Glacier も使用しています。S3 では、望むだけの数のオブジェクトを格納することができますし、個々のオブジェクトは最大5テラバイトとすることができます。オブジェクトストレージのデータは、通常１エンティティ全体としてアクセスされます。そのことは、例えば 5GB のオブジェクトに対してなんらかの要求をすれば、5GB 全てのデータ取得を行うことを意味します。これはオブジェクトストレージとしては自
Amazon Redshift Spectrum – Exabyte-Scale In-Place Queries of S3 Data | Amazon Web Services
AWS News Blog Amazon Redshift Spectrum – Exabyte-Scale In-Place Queries of S3 Data Now that we can launch cloud-based compute and storage resources with a couple of clicks, the challenge is to use these resources to go from raw data to actionable results as quickly and efficiently as possible. Amazon Redshift allows AWS customers to build petabyte-scale data warehouses that unify data from a varie
TechCrunch
Reliance is nearing a deal to acquire Disney’s India business, according to a report, as Mukesh Ambani’s oil-to-telecom empire eyes broadening digital and television assets. Disney values Dating app users will often sit with friends as they swipe through their matches in order to gain feedback, or even hand over their phone and let their friends swipe for them. Now, that real-life expe
Best practices design patterns: optimizing Amazon S3 performance - Amazon Simple Storage Service
Best practices design patterns: optimizing Amazon S3 performance Your applications can easily achieve thousands of transactions per second in request performance when uploading and retrieving storage from Amazon S3. Amazon S3 automatically scales to high request rates. For example, your application can achieve at least 3,500 PUT/COPY/POST/DELETE or 5,500 GET/HEAD requests per second per partitione
米国東部（バージニア北部、US-EAST-1）リージョンで発生した Amazon S3 サービス障害について
日本時間3月1日未明に米国東部（バージニア北部、US-EAST-1）リージョンにおいて発生いたしましたサービス障害に関する追加情報についてお伝えいたします。 この度、Amazon Simple Storage Service (S3) チームが S3 の請求システムの処理に通常よりも時間がかかるという問題のデバッグを進めておりました。 その過程におきまして、9:37AM PST(日本時間 2:37AM)に、適切に権限を与えられたS3チームメンバーが確立された手順に従い、S3 の請求システムが利用するS3サブシステムを構成する少数のサーバを削除するコマンドを実行いたしましたが、その際、コマンドへの入力が不適切であったため、想定よりも多くのサーバが削除される結果となりました。 今回誤って削除されたサーバは２つのS3サブシステムに関わるもので、１つは、Index（インデックス） サブシステムであ
Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを | Amazon Web Services
Amazon Web Services ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを 私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても大きいストレージだったことを思い出せるようにしています)。今日、多くの人々が構造化されたもしくは準構造化されたペタバイト規模のファイル群を、日常的に処理してクエリしています。彼らはこれを高速に実行したいと思いつつ、前処理やスキャン、ロード、もしくはインデックスを貼ることに多くの時間を使いたいとは思っていません。そうではなくて、彼らはすぐ使いたいのです: データを特定し、しばしばアドホックに調査クエリを実行して、結果を得て、そして結果に従って行動したいと思っていて、それらを数分の内に行いたいのです。 Amazon
設計パターンのベストプラクティス: Amazon S3 のパフォーマンスの最適化 - Amazon Simple Storage Service
Amazon S3 のストレージに対してアップロードおよび取得を行う際に、アプリケーションはリクエストのパフォーマンスとして 1 秒あたり数千のトランザクションを容易に達成できます。Amazon S3 は、高いリクエストレートに自動的にスケールされます。例えば、アプリケーションは、パーティショニングされた Amazon S3 プレフィックスごとに毎秒 3,500 回以上の PUT/COPY/POST/DELETE リクエストまたは 5,500 回以上の GET/HEAD リクエストを達成できます。バケット内のプレフィックスの数に制限はありません。並列化を使用することによって、読み取りまたは書き込みのパフォーマンスを向上させることができます。例えば、Amazon S3 バケットに 10 個のプレフィックスを作成して読み取りを並列化すると、読み取りパフォーマンスを 1 秒あたり 55,000
awscli s3 rmでワイルドカードを使う - あたまんなか
AWS コマンドラインインターフェイス | AWS AWSCLIでS3上のファイルをワイルドカードで削除したメモ。 バケットの中身 こんな感じ $ aws s3 ls s3://hoge 2016-06-25 09:48:10 666764 dump.20160625.sql.gz 2016-06-26 09:48:09 684399 dump.20160626.sql.gz 2016-06-27 09:48:05 707137 dump.20160627.sql.gz 2016-06-29 11:06:28 754415 dump.20160629.sql.gz 2016-06-30 09:48:05 693400 dump.20160630.sql.gz 2016-07-01 09:48:05 712112 dump.20160701.sql.gz 2016-07-02 09:48:0
s3fsよりも高速に使えるgoofysを試してみた | DevelopersIO
西澤です。S3バケットを直接マウントしてファイルシステムのように使いたいケースがありますが、s3fsはややパフォーマンスに難があります。Goで書かれていてs3fsよりも高速に動作することを売りにした"goofys"というツールを見つけたので、早速試してみることにしました。 s3fs-fuse/s3fs-fuse · GitHub GitHub - kahing/goofys: a Filey System for Amazon S3 written in Go 前提パッケージのインストール 今回はAmazon Linux(Amazon Linux AMI 2015.09.1 (HVM), SSD Volume Type)環境で検証を行いました。golangとfuseパッケージが前提として必要となりますので、下記のようにインストールします。 $ sudo yum install golang
cp — AWS CLI 1.32.23 Command Reference
cp <LocalPath> <S3Uri> or <S3Uri> <LocalPath> or <S3Uri> <S3Uri> [--dryrun] [--quiet] [--include <value>] [--exclude <value>] [--acl <value>] [--follow-symlinks | --no-follow-symlinks] [--no-guess-mime-type] [--sse <value>] [--sse-c <value>] [--sse-c-key <value>] [--sse-kms-key-id <value>] [--sse-c-copy-source <value>] [--sse-c-copy-source-key <value>] [--storage-class <value>] [--grants <value> [
Treasure Data Analytics 第2回 〜Treasure Data Cloud Warehouse について（後編）〜 - doryokujin's blog
はじめに Treasure Data Cloud Warehouse（前編）では，サービスの概観を紹介しました。第2回では，実践的なデータ･アナリティクスを行う上で解決しなければならない問題をTreasure Dataではどのように解決しているのか，具体的に述べていきたいと思います： データ収集の問題：様々な種類のログをどのようにデータを集約･収集して，横断的な解析を可能にするか？ ストレージの問題：増え続けていく大量のログを，どこに，どのようなフォーマットで，解析可能な状態のまま保管していくか？ 解析結果の活用に関する問題：ログを解析した結果を，どのように可視化するか。あるいはどのように既存のシステムに統合・フィードバックしていくのか？ 1. データ収集の問題 図1: fluentd はログ解析の前段，ログ収集における問題を解決してくれる 「解析対象のログを収集してくる」という作業は本質
fluentdを使ってS3へログを送る - サーバーワークスエンジニアブログ
テクニカルグループの宮澤です。 今回は、fluentdとS3を使ってS3にログをアーカイブする手順を紹介します。 fluentdとは、ログを収集し格納するためのログ収集基盤ソフトウェアです。 fluentdに読み込まれたログはJSON形式に変換され、指定の場所にアウトプットされます。 ※fluentdの安定稼働版はtd-agentとなります。 fluentdのインストール リポジトリの追加 __| __|_ ) _| ( / Amazon Linux AMI ___|___|___| https://aws.amazon.com/amazon-linux-ami/2013.03-release-notes/ $ sudo vi /etc/yum.repos.d/td.repo --- [treasuredata] name=TreasureData baseurl=http://packa
fog - Storage
Having Ruby experience makes you hirable; but how can you stand out? You need to demonstrate your abilities. What better way than using Ruby and “the cloud” to store and serve your resume! In this blog post you will learn to use fog - the cloud computing library - to upload your resume to Amazon’s Simple Storage Service (S3), Rackspace’s CloudFiles or Google’s Storage for Developers. Here’s my out
AWS News Blog
Announcing General Availability of Step-by-Step Guides for Amazon Connect Agent Workspace At AWS re:Invent 2022 we announced the availability of step-by-step guides for Amazon Connect agent workspace in preview. My colleagues who collaborated to write the announcement post wrote about some of the challenges that contact centers face with training new agents to get up to speed with their agent desk
GrailsからS3を扱う - 足掻きながら必死に生きてるよ
GrailsでAmazon Web Services Simple Storage Service (S3)を使ってみる。 プラグインがあるので、利用は簡単。 http://www.grails.org/plugin/amazon-s3 まずは、インストールから。ドキュメントとしては、install-pluginコマンドを使っているけども、 BuildConfig.groovyに以下のように記述してインストール。 plugins { runtime ':quartz:0.4.2' runtime ':amazon-s3:0.8.2' } Config.groovy aws { domain="s3.amazonaws.com" accessKey="【accesskey】" secretKey="【secretKey】" bucketName="grails" } データをアップロードする
Amazon S3 をバックアップストレージとして利用する
Amazon Simple Storage Service(A3)をバックアップストレージとして使うときのメモです。 ここでは自分のみがアクセスする目的と考え、ファイルを公開して配布する目的では必要となるであろうログの取得についてなどは省きます。 利点 単価がとにかく安い(1か月あたりの料金:転送量が$0.20/GB、データ領域が$0.15/GB) Amazonインフラなので信頼性がある 欠点 APIでの提供なので何らかのツールが必要となる そんなに速くない ちょこちょこ使うストレージとしてみると使いづらい ファイル操作は基本GET/PUT/DELETEしか用意されていない 移動・名前変更を行おうとするとGET→名前を変えてPUT→DELETEとなるのでムダがある(時間的にも金銭的にも) バケット(bucket) ストレージの領域の事。フォルダよりドライブに近い概念です。 自由に作成できま
Amazon S3 Simple Storage Service Pricing - Amazon Web Services
You pay for storing objects in your S3 buckets. The rate you’re charged depends on your objects' size, how long you stored the objects during the month, and the storage class—S3 Standard, S3 Intelligent-Tiering, S3 Standard-Infrequent Access, S3 One Zone-Infrequent Access, S3 Express One Zone, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval (Formerly S3 Glacier), and S3 Glacier Deep Ar
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
