S3バケット内のファイル一覧(S3 Inventory)をAthenaを利用して分析する | DevelopersIO
数千万単位のオブジェクトを配置したS3バケット内に、特定の拡張子のオブジェクトが何点存在するかを簡単に確認する方法がないか調べる機会があり、S3 Inventory機能を利用してファイル一覧を取得し、その結果をAthenaを利用して解析してみたので、その方法をご紹介します。 西澤です。お客様よりお問い合わせをいただき、数千万単位のオブジェクトを配置したS3バケット内に、特定の拡張子のオブジェクトが何点存在するかを簡単に確認する方法がないか調べる機会がありました。aws s3 lsの結果をgrepするっていう気の遠くなるような方法は現実的ではないオブジェクト数だった為、S3 Inventory機能を利用してファイル一覧を取得し、その結果をAthenaを利用して解析してみることにしましたので、その方法をご紹介します。 【新機能】S3 Inventoryを試してみた #reinvent ｜ De
Storing Apache Hadoop Data on the Cloud - HDFS vs. S3
History is full of great rivalries: France versus England, Red Sox versus Yankees, Sherlock Holmes versus Moriarty, Ken versus Ryu in Street Fighter... When it comes to Apache Hadoop data storage in the cloud, though, the biggest rivalry lies between the Hadoop Distributed File System (HDFS) and Amazon's Simple Storage Service (S3). While Apache Hadoop has traditionally worked with HDFS, S3 also m
AWS Solutions Architect ブログ
ソリューションアーキテクトの岩永 (@riywo) です。先日Amazon Data Services Japanの目黒オフィスにて、Amazon EMRでHiveとPrestoを体験するハンズオンセミナーを開催し、19名の方にご参加頂きました。 セミナー内では、Amazon EMRの機能紹介に始まり、Hiveやそれにまつわる技術の紹介、またPresto等の紹介を行いながら、実際にAmazon EMRのクラスタを起動してHive/Prestoでクエリを実行したり可視化したりして頂きました。 HiveとPrestoで同じクエリを実行した際の比較では、その速度の違いに驚きの声も出ていました。やはりこういったことは手を動かして体験してみるに限ります。 補足 今回のハンズオンでは、S3上にあるJSONのログデータを、Hiveを使ってORC FileにETLしてS3に保存し、Prestoからそれを可
Hadoop and S3: 6 Tips for Top Performance | Mortar Blog | Data Science at Scale
Netflix kicked off the first session at this summer’s Hadoop Summit, telling the crowd about the Hadoop stack that powers its world-renowned data science practice. The punchline: they run everything on the Amazon Web Services cloud—Amazon S3, Elastic MapReduce (EMR), and their platform-as-a-service, Genie. Putting S3 at the base of your Hadoop strategy, as Netflix and Mortar have, catapults you pa
(レポート) BDT303: Netflix ビックデータプラットフォーム上のSpark and Prestoの運用 #reinvent | DevelopersIO
本セッションでは、Netflixを支えるデータ分析基盤である Amazon EMR の Spark と Prestoの運用について解説しています。10/14（水） AWS Black Belt Tech Webinar 2015 ~ AWS re:Invent 2015 SA 座談会 ~ では、ADSJの現役SAが記憶に残ったおすすめの２つに選ばれた珠玉のセッションのレポートです。 Netflix (ネットフリックス)（英: Netflix, Inc.、NASDAQ: NFLX）は、アメリカ合衆国のオンラインDVDレンタル及び映像ストリーミング配信事業会社で、日本でも2015年9月1日夜からストリーミングのみですが、サービスが開始されたことが話題になりました。 BDT303 Running Spark and Presto on the Netflix Big Data Platform
【アップデート】S3の一貫性に変更があります | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日のアナウンス(要ログイン)で、S3の一貫性に一部変更があることが発表されました。変更があったのは"US Standard"という聞きなれないリージョンとなります。 リージョン＝US Standard？ S3に詳しい方はご存知かと思いますが、S3のリージョンにバージニア(us-east-1)が存在しません。替わりにUS Standardというリージョンがあります。歴史的経緯もあるのだと思いますが、s3.amazonaws.com（バージニア北部または太平洋岸北西部）とs3-external-1.amazonaws.com（バージニア北部のみ）の2箇所のエンドポイントが使用できます。 何が変わったの？ US Standardは一貫性が他のリージョンと異なっていましたが、他のリージョンと同じ整合性モデルが使用できる様になりました。変更点は
AWS Solutions Architect ブログ
こんにちは。ソリューションアーキテクトの下佐粉（しもさこ）です。 先日(4/22)のAWS Black Belt Tech Webinar ではAmazon S3 (Simple Storage Service)の解説を行いました。AWSが出来た時からあるサービスで、利用いただいている方も多かったためか、多くの方にご参加いただき、最後のQ&Aも活発でした。資料もS3の基礎から、応用、注意点まで網羅的にカバーされたもので、S3は使い慣れているという方でも一度目を通していただく価値があると思います。時間の関係で、Q&Aの一部にしか答えられなかったので、資料に加えて、このエントリの後半に答えきれなかった分も含めたQ&Aを記載しておりますので、ぜひ参考にしてください。 次回のBlack Belt Webinarは、5月13日（水）18時です。ゴールデンウィークをはさむために少し期間が空いてしまいま
何故S3（オブジェクトストレージ）を使わなければいけないのか - komagataのブログ
怖話を作っていてインフラを含めた設計で迷っている箇所がいくつか溜まってきたのですが、もしいい方法があったら教えて欲しいという点をブログに書いていきたいと思います。 前提 エンジニアは僕一人だけなので極力手間を減らしたい怖話は広告モデルなのでアクセス辺りの収益が低い。なるべく安く（できれば無料に）したいデザイナーやインターンの人も開発するので複雑にしたくない（例えば怖話をローカルで開発する環境を作るのにredisとかfluentdとかいろんなサーバープロセスを立てないと画面が確認できないとか） 画像の置き場所に困る怖話はアクセス負荷的にappサーバーの2台目が必要かな？ぐらいの状態にあります。 appサーバーが複数台になると画像などのアップロードされるファイルの置き場を共通にする必要が出る。 一度はappサーバー2台でS3 + CloudFrontにしましたが、転送料が高いからappサーバー
Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO
よく訓練されたアップル信者、都元です。Amazon S3について細かい説明は不要かと思いますが、要するにファイルストレージです。HTTPベースでファイルをアップロードでき、そしてダウンロードできるサービスですね。 古くから、データはシリアライズされた形式でファイルという単位に格納し、管理されてきました。ローカルマシン内でファイルを管理する仕組みがファイルシステムで、その多くにはフォルダという階層構造を扱う仕組みが備わっています。 Amazon S3も、Management Consoleによってフォルダを作成し、その中にさらにフォルダを作成したり、ファイルを格納できたりします。しかし。 Amazon S3には実はフォルダという概念は無い のです。Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。例えば下記のようなフォルダ（と我々が認識している
Amazon Glacier からデータを取り出すときには気をつけようね - takatoshiono's blog
注意 この記事は2014年7月5日時点の情報に基いて書かれています。Amazon Glacierの最新の料金体系についてはAmazonの公式ページをご参照ください。 料金 - Amazon Glacier | AWS よくある質問 - Amazon Glacier | AWS 昨日の出来事 Amazon Web Services から6月の請求が来た。 Total: $20.30 あれ、なんか高いぞ・・。 ちなみに先月は 0.18 ドルだった。 やっぱり高すぎる。 内訳を見たら以下のようになっていた。 たしかに先月 Glacier のデータをリストアしたけど、なんだこの 1,633.224 GB というばかでかい数字は・・。こんな大きいデータリストアしてないし、そもそも持ってない。 調べた Amazon Glacier のリストア料金は「ピーク復元レート」というのに基づいて計算される。ピー
AWS News Blog
Add your Ruby gems to AWS CodeArtifact Ruby developers can now use AWS CodeArtifact to securely store and retrieve their gems. CodeArtifact integrates with standard developer tools like gem and bundler. Applications often use numerous packages to speed up development by providing reusable code for common tasks like network access, cryptography, or data manipulation. Developers also embed SDKs–such
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
MOONGIFT: � 便利なAmazon S3管理用インタフェース「JetS3t」:オープンソースを毎日紹介
Amazon S3は便利なファイスストレージサービスだが、プログラマ向けインタフェースしか提供していないので操作が多少面倒だ。特に多数のファイルを登録したブラケットを削除しようと思うと、まずファイルの削除からするというのが面倒だ。 そうした手間を軽減してくれるであろうソフトウェアがこれだ。 今回紹介するオープンソース・ソフトウェアはJetS3t、Amazon S3のGUI管理インタフェースだ。 JetS3tの特に便利な点として、Javaで作られていることが挙げられる。Windows、Mac OSX、Linuxとマルチプラットフォームで動作する点は良い。 Amazon S3にログインして、ブラケットの作成やファイルのアップロード、さらにパーミッションの設定など一通りの操作が行える。また、アップロード専用ツールや同期ツールも付属する。 アップロードしたファイルはコンテクストメニューからtorr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - kahing/goofys: a high-performance, POSIX-ish Amazon S3 file system written in Go
IBM Developer