本記事では dbt の incremental モデルによる差分更新の実現方式をいくつか述べたいと思います。 ただし、あくまで概念コードであり、細かいケースや運用のしやすさは簡易のために除いていますので、その点はご了承ください。 1. 題材とする処理 日次バッチで sales_detail（売上詳細）テーブルから sales_summary（売上サマリー）テーブルを作成することを考えます。 集計方法については以下とします。 sales_datetime を日付単位に切り捨てたもの（= sales_date）と product_id ごとに集計します。 total_sales_quantity は sales_quantity の合計とします。 last_update_datetime は update_datetime の最新 (max) とします。 いくつかの前提を置きます。 sales
スノーフレーク と スタースキーマ の違いと比較
技術主導の世界で企業が情報にますます依存するようになり、データを適切に移動、保存、処理する方法を理解することが年を追うごとに重要になってきています。もしあなたの組織が、会社のデータを整理して処理するためのより良い方法を探しているなら、スノーフレークスキーマ、スタースキーマ、およびこれら2種類のデータウェアハウススキーマの間の関係構成について学ぶ必要があります。 基本的に、スタースキーマは、データウェアハウス内のデータや情報をより効率的に整理する方法を提供します。一方、スノーフレークスキーマはスタースキーマのバリエーションであり、データ処理の効率化を図ることができる。この2つのプロセスは非常によく似ていますが、ユーザーも知っておくべき重要な違いがあります。 スタースキーマとスノーフレークスキーマの比較と、2種類のデータウェアハウススキーマが、企業データの移動、保存、処理、および複雑な分析の完
dbt認定試験「dbt Cloud Administrator Certification Exam」概要を読んで何を理解しておくべきか、どんなスキルが求められるのかを把握する #dbt | DevelopersIO
Configuring dbt Cloud data warehouse connections(dbtクラウドデータウェアハウス接続の設定) Understanding how to connect the warehouse(データウェアハウスへの接続方法を理解する) dbtは下記ページ記載のデータソースに接続が可能となっています。それらデータソースへの接続方法を理解しておきましょう、というのがこのトピック。 Configuring IP whitelist(IPホワイトリストの設定) 所定の環境へのアクセスを制限する方法として「登録されたIPからのみ接続を許可する」所謂"IPホワイトリスト"がありますが、dbtに於いてもこの方式は対応可能です。 Selecting adapter type(アダプタータイプの選択) dbtを構成するコンポーネントの1つであり、dbtが(dbtでサポー
【LayerX／プレイド／マネーフォワード】データマネジメントの勘所－マルチプロダクトSaaSを支えるデータ戦略の重要性－ https://techplay.jp/event/908124 動画 ＜あとでURL貼る＞
社内LTで「本当にあった(ら)怖いデータの話 ~dbtのススメ~」について話しました - yasuhisa's blog
dbtの紹介 タイトルの通り、モノタロウの(非公式)勉強会でdbtのことについて話してきました。すでに使っている人には新しい情報はほぼないですが、他部門の方に「データ触ってるとこういうところ辛いよね〜」「dbt使うといい感じに解決できるケースもありますよ」という雰囲気の内容で話してます。 合わせて読みたい。 入社してから初の勉強会主催 モノタロウに入社してからまだ半年も経っていないですが、初めて勉強会を主催しました。社内だけど参加者の2/3くらいの方は「zoomでもお話するの初めてでは??」という状態だったのですが、後先何も考えない性格(アホ)だからやれてるんだろうなと思います。ラッキーなことに発表してくれるという方がすぐに集まって OSSへのcontributeの仕方 フロントエンドの開発を爆速にする方法 よい週報の書き方 データメッシュ Cloud Buildとの試行錯誤 など(タイト
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
サマリ データ基盤の運用に便利な dbt ですが、既存のSQLを拡張SQL記法で書き換えるのが難しく、移行できずにいるチームも多いと思います。そこで、テスト機能とメタデータ管理機能のみを、既存データ基盤に手を加えることなく、導入する方法を解説します。 *dbt cloud ではなく、OSS 版の dbt を利用します。 本記事では、データ基盤の運用課題に有効な手段の一つである dbt を紹介しつつ、実際にBigQuery 上のデータ基盤に導入する方法をデモします。既存の基盤に手を加えずに、以下に示すようなテーブルに対する自動テストや、メタデータを統一して公開するwebサービスを立ち上げることができます。 テスト実行結果のイメージ Found 4 models, 2 tests, 0 snapshots, 0 analyses, 156 macros, 0 operations, 0 see
DBT: Data Build Tool with Tristan Handy - Software Engineering Daily
A data warehouse serves the purpose of providing low latency queries for high volumes of data. A data warehouse is often part of a data pipeline, which moves data through different areas of infrastructure in order to build applications such as machine learning models, dashboards, and reports. Modern data pipelines are often associated with the term “ELT” or Extract, Load, Transform. In the “ELT” w
dbtの公式入門ドキュメント『Quickstart for dbt Core from a manual install』を実践してみた #dbt | DevelopersIO
dbtの公式入門ドキュメント『Quickstart for dbt Core from a manual install』を実践してみた #dbt 直近、dbtのQuickｓtartシリーズで以下2本のエントリを公開しましたが、いずれもdbt Cloudに関するものでした。 dbtではその他に大きなプロダクトの柱がもう1つ存在します。それが『dbt Core』です。コマンドラインベースのオープンソースプロダクト(無償)でdbtの各種操作をCLIで実行します。当エントリではdbt Coreのクイックスタートチュートリアルとして用意されている『Quickstart for dbt Core from a manual install』の実践内容をお届けします。 目次 01.はじめに dbt Coreをローカル環境にインストール 接続検証用のBigQuery環境を準備 接続検証用のGitリポジト
dbt Tokyo meetup #3 https://dbt-tokyo.connpass.com/event/246144/
2024年3月19日 Tokyo dbt meetup #8 で発表した資料です。 dbtのincrementalモデルについて、基本的な挙動から、dbtでどのような処理が行われているかの詳細まで網羅的に解説しました。
大阪オフィス所属だが現在は奈良県でリモートワーク中の玉井です。 dbtは、ELTのTをソフトウェア（またはアプリケーション）と同じように開発することができるサービスです。しかも、SQLのSELECT文さえ分かっていれば、もう早速使うことができてしまいます。 ただし、SQLはいわゆる宣言型言語で、柔軟なデータモデルを作るためには限界があります。そういう時のために、dbtはjinjaという言語が使えるようになっています。 今回はjinjaのチュートリアルを「実際にやってみつつ」、どういう事ができるかをご紹介したいと思います。 そもそもdbtとは？という方へ 下記をご覧ください。 Jinjaに関する公式情報 本家 本記事では下記に記載されているものを実際にやってみます。 やってみた Projectを新規作成する 今回の作業用に新規Projectを用意します。具体的な方法は上記の別記事をどうぞ。ち
この記事は、Money Forward Engineering 2 Advent Calendar 2022 2日目の投稿です。 はじめに Data Source Management 🧹 部署と職種の粒度を再定義 求人 - 部署 - 職種の辞書データを作成&維持管理 ATSデータ品質をdbtでモニタリング Extract & Load 🚛 GitHub Actionsフル活用 Workload Identity連携 毎朝dbt source freshness Transformation 🍳 ワイドテーブルを採用 macroで表記揺れ管理 3層モデル Use 🍱 スプシ/BI 権限付与もdbtに任せる Development 💻 elementaryとPiperider Docs類はGAE GitHubと社内Wikiを同期 品質モニタリング用テーブルを用意 dbt-osmos
アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームのしんやです。 以前執筆、公開した下記のエントリは、dbtでSELECT文以外のDML/DDLを扱う時に「こういう風にSELECT文に置き換えると良いですよ」という案内、紹介をするものでした。 この中で「ストアドプロシージャの移行」に関するトピックもあったのですが、このエントリ内では情報源の紹介のみに留まる形としており、詳細な内容の紹介はしていませんでした。 ですのでその部分の紹介を当エントリで進めていこうと思います。 目次 なぜストアド・プロシージャの代わりにdbtモデルを使うのか ストアドプロシージャの問題点とは 代替案としてdbtを検討する理由 ストアドプロシージャからdbtへの移行手法 ステップ0: dbtの仕組みを少し理解する ステップ1: dbtとストアドプロシージャの違いを理解する ステップ2: スト
2024-03-05 @Data Engineering Study #23 Data orchestration 特集
10Xにおけるdbtの事例紹介
2023/03/14に開催された「What is dbt？データ基盤にdbtが必要な３つの理由」の登壇資料です。 https://classmethod.connpass.com/event/276579/
GitHub - lightdash/lightdash: Self-serve BI to 10x your data team ⚡️
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
dbt Wizard とは dbt Wizard - Visual Studio Marketplace VS Code の dbt 開発用拡張機能 特に BigQuery ユーザにはオススメ 他の DWH のサポートも開発中とのこと ユーザは少なめだけど新しくて良さそう Fivetran が公開してるっぽい 導入手順は How to get set up 参照 嬉しいポイント side-by-side でコンパイル後のクエリが見えて嬉しい！ save すると自動で反映される！ ctrl+クリックで refの定義飛べる！ source/ref を補完してくれる！ (BQ限定) 関数のドキュメントを参照できる！ (BQ限定) エラーをハイライトで教えてくれる！ もう一声！なポイント フォーマッタほしかった… vscode-dbt + vscode-dbt-formatter で頑張るのかな…
dbt(data build tool)に関するアドベントカレンダーです。 dbtの導入事例や、テストやモデリングに関すること、ドキュメントやデータカタログやdbtと連携するツール等、dbtを中心とした話題であればなんでもOKです。 ぜひお気軽に投稿してください！ edit_calendarHow to join the calendarYou can join the calendar by selecting an available date and registering the URL of the article you wish to link to. If a slot is available, you can go back to a past date to join!
Detect all errors Prevent bad data from sneaking into your business We’re fortunate enough to speak to a large number of companies about their approach to building reliable data. In doing so, we’ve noticed common steps that the best teams take to get the most out of their dbt tests. State of dbt testing in 2023 With the rise of data observability and ML-based anomaly detection it’s tempting to thi
dbt x Dimensional Modeling
dbt を利用して DWH を構築した際に得た知見をまとめた本になります。 今回、データモデリングには Dimensional Modeling を採用しました。 なお、DWH には BigQuery を採用しており、各種データソースから ETL で BigQuery に作成した data_lake データセットにデータが転送されている前提で内容を記載しています。 私自身、勉強しながら構築を進めているため、内容に間違いがあったりもっとスマートなやり方があれば、Twitter の DM 等でご指摘いただけますと非常に助かります。
Great Expectationsを用いたデータ品質テストがdbt上で行えるpackage「dbt_expectations」を試してみた #dbt | DevelopersIO
Great Expectationsを用いたデータ品質テストがdbt上で行えるpackage「dbt_expectations」を試してみた #dbt さがらです。 Great Expectationsを用いたデータ品質テストがdbt上で行えるpackage「dbt_expectations」を試してみたので、その内容をまとめてみます。 dbt_expectationsとは dbt_expectationsに関する情報は、下記ページにまとまっております。 このページの説明を見ると、このように書いてあります。 dbt-expectations is an extension package for dbt, inspired by the Great Expectations package for Python. The intent is to allow dbt users to de
Snowflakeとdbtを併せて使うと何が良いのか？ #SnowflakeDB #dbt | DevelopersIO
※本エントリは、Snowflakeをより使いこなそう！ Advent Calendar 2021の18日目の記事となります。 さがらです。 最近データエンジニアリング界隈で日本でも聞くようになってきた「dbt」について、Snowflakeと併せて使うと何がよいのか、この記事でまとめてみます。 前置き：ELTについて dbtとSnowflakeの話に入る前に、昨今のデータパイプライン構築にあたり一般的な考えとなってきているELTについておさらいしておきます。 従来のDWHでは、柔軟なスケールアップ・アウトが難しかったり、そもそもサーバースペックが足りないという課題があり、データをDWHに取り込む際はデータソースからExtractしたデータに対してフィルタや集計などのTransformを行って、絞り込んだデータをLoadする「ETL」が一般的でした。 しかし、昨今のクラウドベースのDWHは柔軟
DevelopersIO 2022 データ変換パイプラインをdbtでレベルアップ #devio2022 | DevelopersIO
さがらです。 DevelopersIO 2022において、dbt Labs社よりビデオセッションとして発表をして頂きました。 本ブログでは、こちらのビデオセッションのアウトラインをまとめます。（詳細はぜひ動画をご覧ください！） セッション概要 概要 原文 Have you heard about dbt, but perhaps not sure what it is or what it can do for your team? Join us for this demonstration where you’ll get to see dbt’s workflow and implementation best practices first hand. The session will cover how to develop, test, document, and deploy
GitHub - kuwala-io/kuwala: Kuwala is the no-code data platform for BI analysts and engineers enabling you to build powerful analytics workflows. We are set out to bring state-of-the-art data engineering tools you love, such as Airbyte, dbt, or Great Expec
Kuwala is the data workspace for BI analysts and engineers enabling you to build powerful analytics workflows together. We are set out to bring state-of-the-art data engineering tools you love, such as Airbyte, dbt and Prefect together in one intuitive interface built with React Flow. Do you want to discuss your first contribution, want to learn more in general, or discuss your specific use-case f
dbt のテストというとデータそのものの品質などをテストするのが主な目的で、モデルのロジックそのものをテストするにはあまり適していなかったりします。 ロジックテストを良しなにできないか調査したところ dbt-unit-testing というパッケージが良さげだな～と思ったので今回はこちらを触ってみます。 TL;DR dbt-unit-testing はモデルのロジックテストに使えるパッケージ 依存モデルにモックデータを仕込むことができる モックデータは select 文または表形式で定義可能 テスト結果が表形式でわかりやすい モデルの結合テストにも対応 使ってみる dbt のサンプルプロジェクトを使ってユニットテストを実装してみます。 初期設定 packages.yml に以下を追記し、dbt deps を実行します。 packages: - git: "https://github.co
dbt(data build tool)に関するアドベントカレンダーです。 dbtの導入事例や、テストやモデリングに関すること、ドキュメントやデータカタログやdbtと連携するツール等、dbtを中心とした話題であればなんでもOKです。 ぜひお気軽に投稿してください！ edit_calendarHow to join the calendarYou can join the calendar by selecting an available date and registering the URL of the article you wish to link to. If a slot is available, you can go back to a past date to join!
dbtでSlowly Changing Dimensions Type2を用いたテーブルの変更履歴の保持が簡単に実装できるsnapshotを試してみた #dbt | DevelopersIO
さがらです。 dbtでSlowly Changing Dimensions Type2を用いたテーブルの変更履歴の保持が簡単に実装できるsnapshotという機能を試してみたので、本記事でまとめてみます。 Slowly Changing Dimensions Type2とは まず、タイトルにもあるSlowly Changing Dimensions Type2とは何か、説明していきます。 Slowly changing dimensionとは 一言でいうと、「Slowly Changing Dimensionsは、ディメンションテーブルの変更履歴を管理する手法」です。 まず大前提としてデータ分析をする上で、ディメンションという概念があり、データを分析する際に切り口となるデータのことを示します。ディメンションテーブルなどと呼ばれますね。 このディメンションテーブルの例としては 取り扱う商品の
こんにちは！データサイエンスグループの山本です（ @__Y4M4MOTO__ ）です。 さて、ヤプリのデータサイエンスグループ（以下、DSグループ）では2023年から分析用データ基盤の dbt 移行に取り組んでいます。 dbt 移行に至った経緯などについては昨年開催された Yappli Tech Conference 2023 にて発表しているので、そちらをご覧いただければ幸いです。 tech.yappli.io dbt 移行に伴い、ヤプリの各種サービスが参照しているデータマートも dbt 移行後のものへ切り替えを行っています。 dbt 移行後の分析用データ基盤（以後、 dbt 基盤）の運用が本格化してきたことで、その開発フローの方も併せて改善していきました。 この記事では、その時の話について記したいと思います。 なお、開発フロー改善は分析ツール「 Yappli Analytics 」のデ
推奨される読者 分析業務までに長いSQLを書かなければならずうんざりしているデータエンジニア 細かいデータ品質のチェック作業で疲れているデータエンジニア SELECT文には抵抗がないが、ステップアップしたいデータアナリスト 組織をハッピーにしたいデータチームのリーダー 以下は、Seattle Data Guyのこちらの記事を、許諾のもとで邦訳したものです。 (Review: Brett Torenvlied of primeNumber, Inc.) 出典 ハーバード大の記事が「データサイエンスこそ21世紀で最もセクシーな職種だ」と押し売りしてから、十数年になる。だから僕らは「データが新たな石油だ」と語ってる場合じゃなくて、ちゃんと維持可能なデータスタックを構築し始める必要がある。 僕が最近、モダンデータスタックにフォーカスした記事を執筆し、この技術が未来にわたって持続可能なシステムを構築
dbtのテンプレートSQLをJinja2テンプレートで大量生成する話 〜クラシコム様での事例〜 - KAYAC engineers' blog
この記事はdbt Advent Calendar 2023の5日目です。 こんにちは、その他事業部SREチーム所属の@mashiikeです。 カヤックは様々な事業・プロジェクトを展開しておりますが、その一つとして『北欧、暮らしの道具店』を運営する株式会社クラシコムとの協業プロジェクトがあります。 www.kayac.com こちらのプロジェクトでは2019年より継続して、クラシコム様のデータ基盤の構築・運用のサポートの一部を行っております。 その中で、troccoのdbt連携機能を用いて、データの変換を実装しております。1 今回の記事は、同プロジェクトの中で行われた一風変わったdbtの活用例の紹介になります。 内容の関係上、予めLookerの用語と概念を知っていると読みやすいと思います。 cloud.google.com 背景 クラシコム様のデータ分析基盤では、ビジネスインテリジェンスにL
dbt の導入支援 | クラスメソッド株式会社
dbtは、Amazon RedshiftやBigQuery、Snowflakeなどのクラウド型データウェアハウス（DWH）におけるデータ変換に特化したツールです。シンプルなSQL文による操作、データモデル依存関係などの可視化、データ変換処理のバージョン管理、テストと実行スケジューリングなど、クラウドDWH上でのデータ変換処理をより高速かつ高品質に行えるようにする、さまざまな機能を提供しています。 dbtの特長 SQLで開発できる dbtでは、データ変換の定義を行うために、CREATE TABLEやALTER VIEWなどのDDLを使用する必要はありません。SQL以外のプログラミング言語を覚える必要もなく、データアナリストやデータエンジニアが使い慣れたSQL SELECT句を使用してデータモデルを作成します。 データに対するテストができる 従来のデータ変換プロセスでは、データに対するテストを
Why does structure matter?Analytics engineering, at its core, is about helping groups of human beings collaborate on better decisions at scale. We have limited bandwidth for making decisions. We also, as a cooperative social species, rely on systems and patterns to optimize collaboration with others. This combination of traits means that for collaborative projects it's crucial to establish consis
こんにちは、nkhrです。 dbtというツールをご存じでしょうか。データウェアハウス（レイクハウス）のTransformationをサポートするツールで、Redshift, Snowflake, BigQuery, Databricsなどで利用できます。 （参照リンク：What, exactly, is dbt?） dbtの利用を開始する場合は、SaaS製品のdbt Cloudを利用する方法と、Open Sourceのdbt-coreのみを利用する方法があります。 本ブログでは、dbt Cloudとdbt-coreについて、その違いと選択ポイントについて考えてみたいと思います。 dbt Cloudとdbt-coreの違い dbt Cloudとdbt-coreは、両方「dbt Labs, Inc.」が管理しています。 dbt-core Apache License 2.0（詳細はリンク先を参
dbt入門 | Hakky Handbook
dbt 入門 dbt とは dbt とは、data build tool の略で、ELT の T を担当するソフトウェアです。つまり、データウェアハウスにあるデータを加工してデータウェアハウスに書き戻すツールになります。ELT の EL の部分は Meltano など他のツールに任せます。 特徴 dbt には主に以下の機能や特徴があります。 SQL の SELECT 文だけで開発可能 スキーマや依存関係に関するドキュメントの自動生成機能 NULL、参照整合性などの自動テスト機能 Jinjaによる処理のモジュール化 Git、CI / CD などソフトウェア開発の手法が活用可能 dbt の利用方法 dbt は、SaaS としての「dbt Cloud」と OSS の「dbt CLI」を利用することができます。それぞれの機能の違いは以下の記事をご参照ください。 dbt Cloud と dbt
大阪オフィスの玉井です。 dbtは（基本はSQLとはいえ）コードを開発して実行するツールです。そういう意味では、アプリケーション開発とやることが似ています。故に、dbtには「アプリケーション開発では当たり前にやること」な機能がデフォルトで盛り込まれています。例えば、Gitと連携してコードをバージョン管理することができます。何らかのシステムを開発する際、コードをバージョン管理するのは当たり前のことです。それがdbtにも取り入れられています。 今回紹介するのは、dbt Cloudの「Environment」と「Job」という機能です。これらを使うと、（これまたアプリ開発では当たり前な）「本番環境と開発環境の分割」や「CI（継続的インテグレーション）」を行うことができます。 dbtにおけるCI そもそもCIとは何でしょうか。例えば下記の記事ではこのように解説しています。 CI/CD の「CI」は
The 5 essential data quality checks in analytics | dbt Labs
We’ve talked about the core data quality dimensions and how to think about them with intentionality. We’ve explained how to put those in a framework that is guided by your business. Let’s use this page to talk about the actual foundational data quality checks you should be running on your data, and how dbt Cloud can help make these tests simpler and automated. We’ll cover the concepts of: uniquene
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
dbtによる差分更新のいくつかのアプローチ - Qiita
バクラクのデータドリブンな事業運営・爆速開発を支えるデータ分析基盤のこれまで・現在・これから
corp/dbt_style_guide.md at main · dbt-labs/corp
データ基盤で動いているSQLに手を加えることなく dbt を導入する
完全に理解した incremetal 〜そして、何もわからないへ〜
incrementalモデルの理解を深める
dbtでJinjaを利用して柔軟なデータモデルを開発する | DevelopersIO
People Modern Data Stack '22 - 左肩上がり
ストアドプロシージャからdbtへの移行手順 #dbt | DevelopersIO
dbtをDagster Cloudでオーケストレーションする
dbt のモデル開発に便利な VS Code 拡張 "dbt Wizard"
dbtのカレンダー | Advent Calendar 2022 - Qiita
The complete guide to building reliable data with dbt tests
dbt-unit-testing を使ってモデルのロジックテストを実装する
dbtのカレンダー | Advent Calendar 2023 - Qiita
dbt 基盤の開発フローを改善した話 - Yappli Tech Blog
dbtとは何か？なぜ企業はdbtを使うのか？ | trocco®(トロッコ)
How we structure our dbt projects | dbt Developer Hub
dbt Cloudとdbt-core (CLI)の違いを整理してみた | DevelopersIO
[dbt] CI（継続的インテグレーション）を取り入れる | DevelopersIO