GCPとMarquezで始めるデータリネージ

データリネージの自動収集と可視化について調べた内容をもとに、実際にGCPで実装する方法をまとめていきます。 データリネージとは 業務システムから生成・抽出されるデータをなんらかの処理をして別のシステムへ連携したり、データ分析のために利用したりすることは企業内で日常的に行われています。また、これらデータのライフサイクルは適切に管理されていないと複雑化する傾向にあると思います。データのライフサイクルの複雑化により、利用されていないもしくは重複して保持しているデータが放置され無駄なコストが発生したり、データ品質の低下や機密情報への不適切なアクセスなどのトラブルに繋がることも予想されます。 このような問題に対処する手段の１つとして、データの生成元から利用先までの流れを常に追跡可能な状態に維持することが挙げられます。このデータの生成元から利用先までの流れをデータリネージといいます。 データリネージの

[sh19910711]

Marquez / "データリネージを収集して管理するシステムは、データの収集方法によってActiveとPassiveの２種類に分類 > Active: データパイプライン側からメタデータを提供する + Passive: データ変換で実行するSQLを静的に解析する"