[GCP Datastream] AWS RDS から BigQuery へのレプリケーションを試してみた

概要 PostgreSQL や MySQL などの運用データベースから、GCP のデータウェアハウスである BigQuery に、直接かんたんにデータをレプリケートできる Datastream for BigQuery のプレビュー版が提供されました。 BigQuery のスキーマ定義、BigQuery に適したデータ型への変換、データを BigQuery に送信するバッチ処理などが不要になることが期待されたので、試してみました。 構成 本記事では以下の構成で GCP Datastream for BigQuery を試しました。 AWS EC2 : RDS の踏み台サーバー AWS RDS (MySQL) : ソース GCP BigQuery : レプリカ GCP Datastream : RDS のデータを BigQuery にレプリケート 手順 Datastream 公式ドキュメント

[sh19910711]

Datastream + RDS / "AWS での操作手順も細かく書かれており、基本的にはつまづかずに進められ / フォワード SSH トンネルもサポートされており、踏み台サーバー経由で RDS にアクセスできる / データの鮮度を調整できる"