dbt seed で csv ファイルのミスを取り除きながら DWH へ格納させる - Gunosyデータ分析ブログ

はじめに 現状の実装と課題: 不整合データの混入による手戻り 対応方針: PR 時点でデータ不整合を検出する CI 環境で dbt が使えるようになった dbt seed とは 方針 実装 csv ファイルの配置 プロファイル設定 dbt_project に seeds の設定を追加する シードでロードするテーブルの設定を追加する GitHub Actions で dbt seed と test を行う GitHub Actions で各ステップを記述する 導入結果 さいごに 余談: ChatGPT にエラー解析と初心者解説を頼んだらかなり心理負荷が下がった 参考文献 はじめに こんにちは、BI チームの田辺です。この記事はGunosy Advent Calendar 2023の 12 日目の記事です。 前回の記事は UT さんのコスト削減できる箇所をひねり出すでした。 さて、今回は db