タグ

ブックマーク / qiita.com/t-yotsu (1)

  • Digdagを使ってBigQueryからテーブルをAvroフォーマットでExportする - Qiita

    Digdagのワークフロー定義で直接BigQueryを操作できるようになっていたので試してみた。 実行環境:GCP CloudShell digdag version: 0.9.5 digdagのインストール手順は省略: 今回試したのはBigQueryのあるテーブルをAvroフォーマットでGCSに格納する例。 BigQueryやGCSにアクセスするためには個人のアカウントやサービスアカウントを利用するが、処理の自動化を行う際はサービスアカウントを作るのが妥当。 サービスアカウントを作成し、鍵をjson形式でファイル出力する。このファイルをjson.keyとしてCloudShell上に配置。 DigdagのワークフローからGCPにアクセスするためには、Secrets情報としてgcp.credentialを設定する必要がある。 Digdagは秘密情報(パスワードや鍵など)をセキュアに管理するた

    Digdagを使ってBigQueryからテーブルをAvroフォーマットでExportする - Qiita
  • 1