Amazon AthenaをBigQueryと比較してみた

こんにちは、データ分析部の阿部です。 作業中音楽は聞かない派ですが、ホワイトノイズを聞いていると集中できるという噂を聞いたことがあるので少し気になっています。 今回は、re:Invent2016で発表されたばかりのAthenaを紹介します。 Athenaとは データの準備 テーブル作成 速度測定 まとめ Athenaとは 本日、AWSのre:Invent中で、RedshiftやEMRに続くビッグデータサービスとして、Athenaというサービスがリリースされました。 Athenaは、S3上のデータ（CSV, JSON, その他フラットファイル）に対して、インタラクティブにSQLを実行することができます。 RedshiftやEMRに比べて、クラスタの構築や運用を必要とせず、シンプルにクエリを実行できるというメリットがあります。 課金形態も、クエリ&読み込んだデータ量に応じて課金という点で、Go

[shiumachi]

Parquetを始めとしたカラムナフォーマットは普通フルスキャンかけたらフラットファイルより遅くなるのでこのクエリで遅くなるのは当然です。あとクエリが現実的じゃないのでTPC-DSとかで比較しないと意味ないです

[chezou]

TPC-DSみたいなクエリで比較してほしかった... http://www.tpc.org/tpcds/

[sh19910711]

“Prestoベースということもあり、大きなファイル１つ、ではなく、ある程度のサイズで分割したほうがパフォーマンスは良くなる”

[miguchi]

“Parquet”

[masutaka26]

メモ: ブコメにベンチマークへの指摘あり

[bopperjp]

S3上のCSVとかを直接クエリできる。TB当たり$5。

[a-know]

コンソール、すごいBigQueryっぽい。でもよさげ

[Nyoho]

早くて素晴らしいですね

[dr_paradi]

はやい

[TokyoIncidents]

ベンチが適正でないらしい (ブコメより)

[sonots]

速いからクラスメソッドさんかと思ったら違った

[toyama0919]

CSVよりParquetの方が遅いんか。あとBigquery早い

[s-wool]

よさそう

[kakku22]

検証早い！そして Athena 未来っぽい

[catnapper_mar]

画面がBigQueryのコンソールに似てる。

[digo]

BigQueryぽい

[ishitsukajun]

早い

[odan_703]

AWSの新しいビッグデータサービスらしい

[masudaK]

検証早い

[beatinaniwa]

これが話題の新サービスか...!

[Y_sekky]

さっそくBigQueryやRedhshiftと比較したよ！