dbtを導入して小規模チームでも運用可能なデータマネジメント体制を構築した話 - High Link テックブログ

はじめに こんにちは。株式会社High Linkのデータユニットマネージャーの芦川 (@assy) です。 私たちのチームでは、データを強みとした事業価値創出を促進するために、データ基盤の整備やデータマネジメント、全社的なデータ利活用レベルの引き上げに取り組んでいます。 データマネジメントをしていると、「誰が作ったかわからない野良のテーブルが乱立している」ことや「BigQueryコンソール上でviewを定義してしまってコードレビューができない」さらには、「テーブル間の依存関係がわからず削除できない」といった課題にぶつかる方は多いんじゃないでしょうか。 私たちもまさにこのような問題に直面し、導入したのがdbtです。 今回は、dbtの導入に至る経緯や選定の理由、dbtをどう活用しているのかといった話を共有させて頂こうと思います。 私たちのようにデータマネジメントにがっつり人的リソースを割けない

[legoboku]

現在、モデルのレイヤーはexcelに書いたメタデータやコンソールで作ったテーブルやビューをスクリプトでterraformに取り込んでるが、dbt化したいな。

[amatou310]

途中で止まってる…やらねば…

[sh19910711]

"dbt: 利用者側の工夫や学習がある程度必要なもの + 管理がしやすくなる以上に、チームで共通のツールを採用し、プロセスを統一化できることに大きな価値がある"