データ基盤のためのリーダブルSQL
これは何？ 私tenajimaがデータ基盤のパイプラインを作るとき、レビューするときに意識している点を言語化したものです データ基盤を作る上での考え方の一つに役立てていただければ幸いです この記事の前提 dbtを使ったデータ基盤構築を念頭に置いて書いています、dbtの記法が出てきます CTEsが使える環境を想定しています 記事内でデータエンジニアもアナリティクスエンジニアも総称してデータエンジニアと呼んでいます データ基盤を「使う側」のクエリと「作る側」のクエリの違い 最近ではファーストキャリアからデータエンジニアの方も出てきているかもしれませんが、データサイエンティスト、アナリスト、ソフトウェアエンジニアを経験してデータエンジニアを行っている人が一般的と考えています。 特にデータサイエンティスト、アナリストからデータエンジニアへの転向は私の周りでは多いように感じており、その方達は(過去の
広告プロダクトにおけるデータ基盤の民主化 | CyberAgent Developers Blog
協業リテールメディアdivでデータエンジニアをしている千葉です。 本日は、広告プロダクトにおけるデータ基盤を効率よく活用することを目指したこの1年間を振り返って、データ基盤から広告プロダクトの価値を高めるための試行錯誤をご紹介します。 目次 データ基盤の構成紹介 データ基盤の活用および運用方法 手動作業での事故が起きないCI/CD構築 実験ができる環境の提供 コストの確認および監視 定期的な棚卸し データ基盤の民主化をした結果と課題 まとめ データ基盤の構成紹介 以前弊社のイベントに登壇した際の設計思想をもとに構築をしています。 このデータ基盤の利用目的としては、各広告媒体の配信結果を分析するための基盤となっています。 基盤の構成としてはStorageにRaw Dataを格納し、Datalake、DWH，Datamartの3層構造で基盤を構築しています。 主に使用しているツール/サービスと
データ基盤Visionの進化の軌跡-事業の成長と共に歩んだ道のり - CARTA TECH BLOG
こんにちは、株式会社CARTA MARKETING FIRMのデータエンジニア、@pei0804 です。 2022年に生まれたCARTA MARKETING FIRMのデータ基盤Visionがどのような背景から生まれ、進化してきたのかを振り返り、Visionの"Why"を残す試みです。 2020年：レポート基盤刷新プロジェクト Visionの前身となるプロジェクトが、2020年にCARTA MARKETING FIRM(当時はZucks)の新DSP立ち上げをきっかけに、既存のレポート基盤刷新プロジェクトが始まりました。 図: 旧DSPのレポート基盤 旧DSPのレポート基盤には以下のような問題がありました。 レポートの軸を増やすことが難しい。 データソースが分散していて数字がズレる。 トラブル発生時の再取り込みが困難。 これらの問題を根本的に解決するため、アーキテクチャやデータストアの選定か
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
