エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Google CloudとPythonを使ったバッチ処理2024 - Cloud Run JobsとPrefectで実現するサーバレスなデータ処理 - Lean Baseball
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Google CloudとPythonを使ったバッチ処理2024 - Cloud Run JobsとPrefectで実現するサーバレスなデータ処理 - Lean Baseball
タイトルの通り, Google CloudとPythonで程よいバッチ処理(正確にはワークフロー処理)を作ったという... タイトルの通り, Google CloudとPythonで程よいバッチ処理(正確にはワークフロー処理)を作ったという話です, 2024年っぽさあるのでそういうタイトルにしています*1&こちらは個人開発事例であり, 業務および所属組織とは無関係です. 仕事ではなく, 個人開発(例のごとく野球データ分析, メジャーリーグです)で, 毎日データサイトからクローリングしてGoogle Cloud Storage(GCS)にCSV保存(Exporter) CSVファイルがGCSにあったらBigQueryのテーブルに保存(Importer*2) シーズンが始まったらこれを毎日一回のバッチ処理として実行(Trigger*3) というデータ基盤的なプロダクトを作っています*4, お絵かき(Blueprint)は以下のとおりです. 今回作ったモノです. CSV保存(Exporter)とBigQuery保存(
2024/02/15 リンク