Cloud Composerにデータマート集計基盤を移行しました - ZOZO TECH BLOG

こんにちは、MLデータ部データ基盤ブロックの奥山（@pokoyakazan）です。趣味の範疇ですが、「ぽこやかざん」という名前でラジオ投稿や大喜利の大会に出たり、「下町モルモット」というコンビで週末に漫才をしたりしています。私は普段、全社データ基盤の開発・運用を担当しており、このデータ基盤はGCPのBigQuery上に構築されています。そして、データ基盤内の各テーブルは、大きく分けて以下の2種類に分類されます。 システムDBのデータやログデータなどが、特に加工されることなく連携されている一次テーブル 一次テーブルから必要なデータを使いやすい形に集計したデータマート 本記事では、後者のデータマートを集計するジョブを制御するワークフローエンジンを、DigdagからCloud Composerに移行した事例について紹介します。Cloud Composerとは、GCPにてApache Airflo

[kenji_matsuoka]

最近 やっぱりComposerのほうが良いんじゃないか って思うことが増えてきた

[sh19910711]

"DigdagからCloud Composerに移行 / Variablesは「読み込まれるタイミング」に注意 / Top level codeでVariablesを読み込むと、DAG解析の度にSchedulerによるメタデータDBへの接続が作成されます。結果として、DAGの解析が著しく遅くなり"