DB->BQデータ転送をミニマムにpythonとGCPコマンドだけで作る - Qiita

Livesense Advent Calendar 2022 12/13の記事です。 TL;TR 以下の方法を紹介します sqlalchemyでinspectを使ってテーブル定義を取得して転送時に利用する設定を生成する pandasでデータベースからデータを読みながらparquetを書く gsutil/bqコマンドでBQへロードし、SQLでテーブルコメントを付与する はじめに 分析などの用途でBigQueryを用いるとき、各種サービスのデータベース上のデータをBQにロードする、という状況が生まれます。このためのツールやサービスとして、AirbyteやCloud Data Fusion、trocco、embulkなどがありますが、まずはスモールにpythonと各種コマンドを使って作るとどうなるのか、というのを考えて試してみました。 データは、1日に1回程度、毎回全件削除して投入し直す（洗い替

[iwtn]

本当に需要があるかどうかわからないからミニマムに初めて徐々に拡大していくやり方って大事。