タグ

ブックマーク / blog.engineer.adways.net (1)

  • DWHをBigQueryに移行した後の話 - Adwaysエンジニアブログ

    はじめに DWHをBigQueryに移行した背景 BigQueryに移行して良かった 速い 安い 充実した機能 タイムトラベル Googleサービスとの連携 BigQueryにDWHを移行してからやったこと あとがき はじめに こんにちは, データエンジニアの大窄 直樹 (おおさこ)です. 今日, 8月6日は私の誕生日!!ということで, 私が執筆することになりました. 今回は, DWHをBigQueryに移行したあとの話について執筆します. DWHをBigQueryに移行した背景 弊社では, 膨大な広告データを取り扱っています. データサイズが大きいと, その集計処理もまた負荷が高いものとなります. 弊社では数年前, データ基盤としてAuroraを選択しました. データサイズが小さいうちは, Auroraでの集計処理が可能だったのですが, データサイズの増加に伴い, 集計処理にかかる時間は

    DWHをBigQueryに移行した後の話 - Adwaysエンジニアブログ
    michael-unltd
    michael-unltd 2022/09/02
    タイムトラベル機能、“product_name__source__mysql という名前のデータセット”
  • 1