[GCP Datastream] AWS RDS から BigQuery へのレプリケーションを試してみた
概要 PostgreSQL や MySQL などの運用データベースから、GCP のデータウェアハウスである BigQuery に、直接かんたんにデータをレプリケートできる Datastream for BigQuery のプレビュー版が提供されました。 BigQuery のスキーマ定義、BigQuery に適したデータ型への変換、データを BigQuery に送信するバッチ処理などが不要になることが期待されたので、試してみました。 構成 本記事では以下の構成で GCP Datastream for BigQuery を試しました。 AWS EC2 : RDS の踏み台サーバー AWS RDS (MySQL) : ソース GCP BigQuery : レプリカ GCP Datastream : RDS のデータを BigQuery にレプリケート 手順 Datastream 公式ドキュメント
![[GCP Datastream] AWS RDS から BigQuery へのレプリケーションを試してみた](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b7390c207e41533d9bd1bb9f0f59c2d6d739ee4/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--Op_gvPy0--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BGCP%252520Datastream%25255D%252520AWS%252520RDS%252520%2525E3%252581%25258B%2525E3%252582%252589%252520BigQuery%252520%2525E3%252581%2525B8%2525E3%252581%2525AE%2525E3%252583%2525AC%2525E3%252583%252597%2525E3%252583%2525AA%2525E3%252582%2525B1%2525E3%252583%2525BC%2525E3%252582%2525B7%2525E3%252583%2525A7%2525E3%252583%2525B3%2525E3%252582%252592%2525E8%2525A9%2525A6%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252581%25259F%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Asaitok7%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2FiNmE0YWRmMmYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
federated queryを使ったSpannerからBigQueryへのデータ転送 - Qiita
はじめに こんにちは、この記事はUnipos Advent Calender 2021の16記事目です UniposではデータをDataStoreとSpannerにもち、それらのデータを集計するためにBigQueryにデータを転送しています この記事ではSpannerからBigQueryへのデータ転送について紹介します 公式ドキュメント に詳しいことは書いてありますが、このブログでは具体的な操作、具体的な値について書いていきます 事前準備 BigQuery Connection APIを有効にする Spanner情報の追加 BigQueryのエクスプローラの「3点リード」→「データを追加ボタン」→「外部データソース」の順にクリック 情報を入力する 接続タイプ : Cloud Spanner 接続ID : 英数字、ダッシュ、アンダースコアで構成される文字列 データのロケーション : BQのロ
データウェアハウス ClickHouse を使ってみた話。 | Basicinc Enjoy Hacking!
こんにちは、ベーシックのDevOpsエンジニア 渡辺です。 主にインフラ保守運用や新しい技術の検証、データ解析周りなどをやっています。 今回はアクセスログなど時系列のデータを保存、集計するのに便利なデータウェアハウス ClickHouse をご紹介します。 https://clickhouse.yandex/ ClickHouseとは？ ClickHouseとは、SQLクエリを使用してリアルタイムで分析データレポートを生成できるオープンソースの列指向データベース管理システムです。 時系列データの保存、集計に特化していてクエリ検索パフォーマンスがとても優れています。 データの更新(UPDATE)ができなかったり削除(DELETE)に制約があったりと通常のRDBMSでできることがClickHouseではできないこともありますが、ログを登録して集計することだけと考えればとてつもなく良いパフォーマ
Google BigQueryにMySQLのデータを入れる | Ore no homepage
肋骨が折れたかもしれん。痛え。それは置いといて…BigQuery。処理能力を体感したかったのでとりあえずMySQLの本番データをつっこんだ。fluentdでログも突っ込んでるんだけど、そっちはデータが溜まってないからまだおもしろくないかな。それについてはまた別途。まあ、fluentdでデータ突っ込むのはいろんな人がqiitaとかブログに上げてるし書くまでもないかもしれないけどね。 0. 作業の流れ MySQLからダンプを抜く ダンプをCloud Storageにuploadする Cloud Storage からbigqueryにインポートする クエリ投げる という流れになる。この記事では深く言及しないが、Google Compute Platformのコンソールでプロジェクトの作成やら課金の登録やらが済んでいて、作業を行うマシンにはコマンドラインツールがインストール済みであるとする。 コマ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Magic Data Apps with Snowflake, Streamlit, and DuckDB
