GitHub ActionsからBigQueryのリモート関数をデプロイする - BOOK☆WALKER inside

こんにちは、メディアサービス開発部サービス分析課の佐藤です。ブックウォーカー社で全社横断のデータ基盤を構築しています。 前回SlackからGitHub Actionsを実行する記事を投稿しましたが、今回はそのGitHub Actionsを使ってデプロイしていたBigQueryのリモート関数の利用ケースについて説明していきます。 背景 「外部のAPIから得たデータをBigQueryへ投入するやり方」の検討 Terraformでデプロイ用のServiceAccountを作成 BigQueryに外部接続とデータセット作成 GitHub Actionsにデプロイ用ワークフローを作る ランタイム判定 エントリポイント判定 全体の流れをまとめて提供する 終わりに 背景 現在、BigQueryのデータを加工する集計バッチについてはスケジュールクエリを各自に好き勝手に作成してもらう運用にしています。 スケ

[sh19910711]

"スケジュールクエリでバッチを作り続けるのには限界を感じてきているので、これは将来dataformに移行する予定 / リモート関数を呼び出す際の戻り値について気をつける必要 + ARRAYやSTRUCTは扱えません"

[takayamaki]

bqのリモート関数ってこういう使い方できるんだなぁ、と思った