Amazon Redshiftへ継続的にデータをロードする際に気をつけること - クックパッド開発者ブログ

こんにちは、インフラ部データ基盤グループの小玉です。 データ基盤グループでは、Amazon Redshift（以下、Redshift）へ継続的にデータをロードする仕組みを、約半年に渡り構築・運用してきました。この記事では、その中で学んだことを共有させて頂きます。 弊社では情報系システムの一部に、AWSが提供するRedshiftという分散データベースを利用しています。情報系システムとは、データ分析を主な用途とするシステムのことです。なかでもRedshiftはSQLを使った大量データの高速な分析に最適化されているため、DWH（データウェアハウス）としての利用に適しています。 DWHの構築に必要なタスクとしては、データソースの特定、モデリング、データの抽出・変換・ロード(ETL)、クエリツールやBIツール導入、パフォーマンス・チューニング、メタデータの管理、バックアップ・リストアなど、があります

[chezou]

Redshiftにロードする前にPostgreSQLに格納して前処理してるのかー

[niseissa]

レプリデータからロード

[civitaspo]

データスライスするだけで、そんな高頻度のロードに耐えられるようになるの？

[kimutansk]

Redshiftに限らずとも、データレイクにデータをロードする際には皆気を付けるべき内容ですね。リソース消費を絞った結果ひどい目に遭ったことは多々ありますが・・

[tgk]

"ELT"はETLのtypoではなかった。LoadしてからTransformする戦略を指す言葉らしい

[ShoheiKomatsu]

勉強になります