"壊れにくい"データ基盤を構築するためにMackerelチームで実践していること - Hatena Developer Blog

こんにちは。MackerelチームにおいてCRE（Customer Reliability Engineer）をしているid:syou6162です。主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。 今回は、壊れにくいデータ基盤を構築するため、Mackerelチームで実践していることを紹介します。 なぜ壊れにくいデータ基盤を構築するのか データ基盤が“壊れている”とはどういうことか 壊れてないだけでなく、壊れたら気付ける 前提とするシステム構成 壊れたことに気付けるよう監視する 1. バッチジョブが失敗したことに気付く 2. 投入されたデータの性質を監視する 3. ビューが壊れてないかを監視する 4. 利用状況を監視する そもそも壊れてない状態を保つ 1. データリネージを元に修正できるようにする 2. 使われていないテーブルやビューは定期的に掃除 おわりに 参

[syou6162]

最近の取り組みについて書きました!

[yuzutas0]

参考文献に取り上げていただき感謝！

[hide-K]

“プロダクトオーナーや経営陣が、経営指標を把握する” という価値の高いミッションを持っているので、もっと評価されていく分野

[a-know]

データ基盤、どんどんミッションクリティカルに近づいているのでこういう取り組みに救われてます。“SRE（Site Reliability Engineer）と同じような気持ちで”心強い！！

[mapk0y]

yq の存在を初めて知った/ BigQuery のいろいろな機能を活用するのは良いな

[wtatsuru]

めちゃくちゃ助かってるやつです

[side_tana]

読み直した

[gorou5656]

“Data Studio”

[togusa5]

クラウドにバックドア仕込む人だっけ