データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog

こんにちは。MackerelチームでCRE(Customer Reliability Engineer)をしているid:syou6162です。 CREチームではカスタマーサクセスを進めるため、最近データ分析により力を入れています(参考1, 参考2)。データ分析を正確に行なうためには、データに関する正確な知識が必要です。今回はより正確なデータ分析を支えるためのメタデータを継続的に管理する仕組みについて書いてみます。 データに対する知識: メタデータ データ分析を正確に行なうためには、データ自身に関する知識(=メタデータ)が必要です。例えば、Mackerelのデータ分析タスクでは以下のような知識が必要とされることが多いです。 このテーブル / カラムは何のためのテーブルなのか 似たようなカラムとの違い 集計条件の違い、など データがどのような値を取り得るか SELECT column, COU

[syou6162]

データ分析をより円滑に進められるように、こういったデータ基盤改善活動をやっていってます

[k1LoW]

tbls事例だ！ / RDB to BigQueryのメタデータを管理するのかなるほどー

[y_uuki]

SREの立場でインフラコスト見積もりの根拠となるデータを収集するときに、テーブルのカラムの数値の計算方法を取り違えていたことがあったので、めちゃ有用。

[yuzutas0]

👀

[a-know]

メタデータの有り難みを噛み締めてます…

[yassan0627]

このメタデータ管理良いなぁ。

[takaesu]

データベースのデータの管理手法

[wtatsuru]

お世話になっております

[yujiorama]

"コメントDDLを付与していくのを普段の開発フローに組み入れてもらいました"