数百GBのデータをMySQLからBigQueryへ同期する | メルカリエンジニアリング

SRE所属の @siroken3 です。最近はもっぱらパートナー会社様とのデータ連携環境構築を主に、時々プロダクションのMySQL環境と分析基盤との連携インフラの構築が多いです。 本記事は、メルカリに出品された過去すべての商品をBigQueryへ同期するにあたって取り組んだ時のお話です。 背景 当社では分析目的などでBigQueryを以前から使用しており、プロダクションのMySQLからBigQueryへデータを同期して分析に活用してきました。特に商品を表すテーブルは重要です。 しかし、後述する課題によりBigQueryにアップロードすることができなかったため、分析用のMySQLDBのスレーブとBigQueryを併用せざるを得ませんでした。とはいえ不便なので以前からBigQueryのみで商品テーブルも分析対象としたい要望がありました。 課題 メルカリでは販売済み商品を物理削除していないため、

[Kesin]

なるほど、UNIONでまとめてからPKにしたいカラムをPARTITIONでまとめて、そこから先頭だけを取り出すことで重複排除してるのか

[kazusan85]

恐ろしく有益で濃い内容。。。

[sylvan_l]

数百GBのデータをMySQLからBigQueryへ同期する

[sanemat]

実用的

[siroken3]

https://speakerdeck.com/shiozaki/sync-from-mysql-to-bigquery-become-4x-faster-by-incremental-updating に大感謝です。

[escape_artist]

知見

[progrhyme]

BQの更新制約を鑑み、BQの分析関数を使ったマージにより差分同期の仕組みを作った

[koyancya]

WINDOW 関数便利