住まい暮らしメディアLIMIAで開発を担当している樋口です。 LIMIAではBigQueryを使ってデータ分析を行なっています。 ログデータについてはFirebase Analyticsに送信したデータをBigQueryへ書き出しています。 マスタデータについてはMySQLに格納されており、それをBigQueryへ送信する必要がありました。 embulkをfargate環境で動かすことで実現したため、それについて共有します。 embulkについて embulkはデータローダです。 fluentdのバッチ版と言われており、オープンソースで開発されています。 fluentdと同じようにプラグインを導入することで、様々なデータソースに対応しています。 LIMIAでは入力をMySQL、出力をBigQueryとしています。 そのため、プラグインとして embulk-input-mysql と emb