dbt macrosを使って共通処理をリファクタリングする
はじめに 私が所属しているライフイズテックのデータ基盤グループでは、データのTransformationにdbtを利用しています。今回はdbtのmacroを使って、共通処理をまとめてリファクタリングした事例を紹介します。 リファクタリングに至った背景 ライフイズテックではSnowflakeを導入し、Snowflakeにデータをロードする際にスキーマ検出とスキーマ進化を利用しています。その際にタイムスタンプのカラムはTIIMESTAMP_NTZとしてデータがロードされます。 プロダクトのタイムスタンプはUTCとして保存されているため、UTCのタイムスタンプがTIMESTAMP_NTZとして保存されています。ただサービス自体は日本でしか展開していないため、下記のように分析のためにdbtで事前に日本時間に変換をしています。 タイムスタンプのタイムゾーン変換は何度も同じ処理が各モデルに必要になるた
Terraformとdbtを活用してデータ基盤整備の生産性が向上した話
はじめに 私が所属しているライフイズテックのデータ基盤グループで、ここ2年ほどでdbtとterraformを活用してDataOpsを進め、データ基盤の整備の生産性が向上した話をまとめます。 導入前の状況と課題 弊社のデータ基盤ではデータ基盤が綺麗に整備されていることよりも、プロダクトや事業に貢献できているかを重要と考え、まずデータを使える状態にすることを目指したサービスの導入や基盤構築を行いました。 考え方としてはこちらの DWHにおけるデータモデリングで大事にしている考え方に書かれている内容に近い考え方になります。 そのため、データモデリングの前にRedashやCRM AnalyticsというBIツール向けにデータレイクからデータマートを先に構築していました。 terraformとdbt導入前は、図のような流れで SQLでSnowflake上にDBやスキーマなどを作成 ELTサービスとし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
