Google Cloud DataFlow + Pub/Sub でデータ処理環境を構築してみる

仕事でCloud DataFlowを使った際に、ざっくり調べた入門的なまとめ。 データ処理畑の有識者ではないので、なにか記載に誤りなど あれば学びになるので教えていただけたら :) Cloud DataFlowって? GoogleCloudPlatformが提供するストリーム/バッチ方式でのデータ処理エンジン(Apache Beam)のフルマネージドサービスです。 と書くとなんのこっちゃ？って感じなので 大雑把に要素分解をすると ストリームデータ処理対応(ストリームデータについては後述) 任意のinput(pubsubやmysql,gcs)から得たデータの変換、GCS,BigQueryへのデータ流し込みをコードで書いてdeployするだけで実現できます。 Cloud/PubSubとの連携が容易。(beamSDKの呼び出しを１〜３行書くだけ) Java,PythonのSDKが提供されています