Amazon Athena: カラムナフォーマット『Parquet』でクエリを試してみた #reinvent | DevelopersIO
先日『AWS re:Invent 2016』にて発表された新サービス『Amazon Athena』は、マニュアルにもある通りAWSが提供するフルマネージドHiveサービスと言えるでしょう。DWH用途で考えるとレコードをフルスキャンするよりも特定のカラムを集計・フィルタするというユースケースが多くなりそうですので、カラムナフォーマット『Parquet』を試したみたいと思いました。Parquetファイルの変換や、一般的なCSVとの簡単な比較をしてみました。（意外な結果が...） カラムナフォーマット『Parquet』とは データ分析では大福帳フォーマットのテーブルデータに対して、特定の列の値を集計したり、フィルタリングすることが多いため、カラム毎にデータが連続して格納されていると必要なデータのみをピンポイントで読み込むことができるからです。また、列方向には同じ種類のデータが並んでいるため、圧縮
Amazon Athena is now available in Asia Pacific (Singapore) and Asia Pacific (Tokyo)
Amazon Athena is now available in the Asia Pacific (Singapore) and Asia Pacific (Tokyo) regions. Amazon Athena is an interactive query service that makes it easy to analyze data in Amazon S3 using standard SQL. Athena is serverless, so there is no infrastructure to manage, and you pay only for the queries that you run. With the latest release customers can now use Amazon Athena in the following re
FluentdのログフォーマットでS3に保存されたApacheのアクセスログをAmazon Athenaで集計する - Fusicきばんブログ
突然の Amazon Web Services Advent Calendar 2016 の 15日の記事です 基盤ユニットの小山 ( @k1LoW )です。 AWS re:Invent 2016すごかったですね。 数多くのサービスが使える形でリリースされてきました。 ただ、個人的にはその後の aws-sdk-ruby が v3に上がる というエントリーを見て、awspecをどうしようか戦々恐々としています。 awspecを aws-sdk-ruby v3.0.0.rc2 で動かしてみようと思ったら、依存している https://t.co/TIuG9dGHfH のテストが v3.0.0.rc2 失敗したので、1回休み— k1LoW (@k1LoW) 2016年12月14日 突然のアクセスログ集計 あるAWS上に構築しているシステムプロジェクトで、突然「月単位でのアクセス集計1年間分」という
Top 10 Performance Tuning Tips for Amazon Athena | Amazon Web Services
AWS Big Data Blog Top 10 Performance Tuning Tips for Amazon Athena February 2024: This post was reviewed and updated to reflect changes in Amazon Athena engine version 3, including cost-based optimization and query result reuse. Amazon Athena is an interactive analytics service built on open source frameworks that make it straightforward to analyze data stored using open table and file formats in
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
