Google CloudとPythonを使ったバッチ処理2024 - Cloud Run JobsとPrefectで実現するサーバレスなデータ処理 - Lean Baseball
タイトルの通り, Google CloudとPythonで程よいバッチ処理（正確にはワークフロー処理）を作ったという話です, 2024年っぽさあるのでそういうタイトルにしています*1&こちらは個人開発事例であり, 業務および所属組織とは無関係です. 仕事ではなく, 個人開発（例のごとく野球データ分析, メジャーリーグです）で, 毎日データサイトからクローリングしてGoogle Cloud Storage（GCS）にCSV保存（Exporter） CSVファイルがGCSにあったらBigQueryのテーブルに保存（Importer*2） シーズンが始まったらこれを毎日一回のバッチ処理として実行（Trigger*3） というデータ基盤的なプロダクトを作っています*4, お絵かき（Blueprint）は以下のとおりです. 今回作ったモノです. CSV保存（Exporter）とBigQuery保存（
Serverless Framework+mangum+FastAPIで、より快適なPython API開発環境を作る - JX通信社エンジニアブログ
はじめに 最近ハイボールにハマっているSREのたっち(@TatchNicolas)です。 昨日オンライン開催されたJAWS DAYS 2020にて、JX通信社もサーバレスをテーマとして発表をしました。（by 植本さん） 発表でもありましたように、上記プロジェクトにおいて開発当時はスピードを優先してプロジェクトメンバーの手に馴染んでいて分担もしやすいフレームワークとしてFlaskを採用しました。 一方で、JX通信社としてはFlaskよりもFastAPIを使うプロジェクトが増えてきており、今後もその傾向は続く見込みです。 そこで、特設ページ作成やAPI提供など初動としての開発が一段落したのを機に、JAWS DAYSで発表した仕組みを今後のために発展させる検証をしたので紹介します。 TL; DR; JAWSでは Serverless Framework+awsgi+Flaskな構成でスピーディに
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
JAWS DAYS 2020 コロナ速報リリースの舞台裏 〜サーバレスなら5日で十分!〜