AthenaのCTAS (CREATE TABLE AS SELECT) でETLをするTips - Qiitaはじめに この記事はAWS Advent Calendar 2018の3日目の記事です。 今年の10月にAthenaがCTAS(CREATE TABLE AS SELECT)をサポートしました。 CTASサポート以前のAthenaではクエリの結果を無圧縮のCSVでしか残せなかったのですが、CTASを使うと結果を列指向やJSONなどのフォーマットにしたうえ圧縮をかけて残せるようになりました。 これによりAthenaを使ったデータ加工の芽が出たのでいくつかのデータ加工バッチをAthenaでできるか検討しました。 この記事ではAthenaのCTASを使ったバッチを作る際のTipsについて紹介します。 前提 AthenaでETLしたい理由 AthenaはETL無しでS3のデータに直接分析をかけれるよ、というコンセプトを謳っており、現状ETLをするために設計されたサービスな訳ではないように感じていま
