Amazon Athena Apache IcebergテーブルフォーマットによるACID Transactionを試してみました！ #reinvent | DevelopersIO

Icebergの強みを活かす INSERT INTOで300万レコードのデータコピー 普通のAthenaのテーブルと比較して、オーバヘッドが生じることが確認できました。上記では、1レコードINSERTでも7秒かかったりしたので、300万レコードをINSERT INTOしたときの時間がどうなるのかを確認したいと思います。 上記のテーブルからパーティションを取り除いて、INSERT INTOでデータのコピー先のテーブルを作成します。 CREATE TABLE iceberg_table ( id int, data string, category string) LOCATION 's3://<mybucket>/iceberg_table/' TBLPROPERTIES ( 'table_type'='ICEBERG', 'format'='parquet', 'compaction_bi

[sh19910711]

"REWRITE DATAアクションは述語を使用して一致する行を含むファイルは最適化 / UPSERT可能なicebergテーブルに保存して、集計したデータマートを普通のテーブルとして使い分けることでそれぞれ長所を活かすことができそう"

[sobaokun]

｢Apache Iceberg｣