SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog

こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤グループでは安定してデータを利用できるように様々な取り組みを行なっています。本エントリでは、データ品質に問題がある場合にすぐに気付けるようにしたSQLによる監視の仕組みを紹介します。 背景 SQLを使った監視基盤の構築 実際の監視項目例 他チームがdailyで転送しているデータがバッチの失敗により遅れていないか BigQueryのエラーレートが急激に増加していないか 承認済みビューの設定が意図せず消えていないか 今後の展望 背景 データ基盤の運用をしていると、日々様々なトラブルと向き合う必要があります。例えば、以下のようなものがあります。 他チームがdailyで転送しているデータがバッチの失敗により遅れている TerraformなどのIaCで承認済みビューの権限管理を行なっているが、コードの設定ミスで意図せぬ状態

[oktnzm]

だからSQLは問い合わせの言語であってRDBのことじゃないんだよ・・・って書こうと思ったら本当にSQLだった。

[progrhyme]

汎用性があって良い

[shag]

DBのメタ情報をSQLで収集して監視に使うのか。

[Nyoho]

“モノタロウでは社員の約6割がBigQueryでクエリを実行し、日々意思決定を行なっているデータドリブンな会社” まじかよ

[juve534]

"モノタロウでは社員の約6割がBigQueryでクエリを実行し、日々意思決定を行なっているデータドリブンな会社" すてき

[yojik]

“モノタロウでは社員の約6割がBigQueryでクエリを実行し、日々意思決定を行なっているデータドリブンな会社”

[t-wada]

"モノタロウでは社員の約6割がBigQueryでクエリを実行し、日々意思決定を行なっているデータドリブンな会社" 本来のDXができている会社と、それを支えるデータ基盤の話。INFORMATION_SCHEMAをSQLクエリで監視

[KoshianX]

“モノタロウでは社員の約6割がBigQueryでクエリを実行し、日々意思決定を行なっている” 「ほーいいじゃないか、こういうのでいいんだよこういうので」のスクショを貼りたくなる。DXってこういうことだよなあ

[zgmf-x20a]

吉田さん頑張ってる。

[frkw2004]

check制約とかtriggerでロジックチェックとかは使わないものなのかな？

[a-know]

監視！！

[hirose30]

実例、よくありそうなやつ

[clavier]

RedashのAlert機能使ってで似た様なことやった