MySQLのデータをCDC形式で転送し、BigQueryに統合する - Qiita

※1 INSERT,DELETE,DDL文については1行文、UPDATE文については更新前後の2行分 troccoでCDC転送を行う際には ①troccoがMySQLのbinlogをBigQuery上に転送 ②binlogのデータから重複を排除し、それぞれのレコードの最新のレコードの集合を作成 ③↑の集合を現在のBigQueryテーブルとマージし、マージ後のテーブルで置換する という手順を踏んでいます。 CDC転送の詳細な手順についてはこちらのドキュメントの「テクニカルオーバービュー」の項をご参照ください。 2-1. MySQLのパラメータ設定 troccoのドキュメントを参照しつつ、MySQLのパラメータ設定を行います。 binlogの設定を反映させるためにはDBの再起動が必要です。 DBを再起動して次のステップに進みます。 2-2. MySQLの権限設定 troccoのドキュメントを参