Cloud Composer 2上でApache Airflow 2のワークフローを実装する - ZOZO TECH BLOG

はじめに こんにちはZOZOデータサイエンス部MLOpsブロック松岡です。 本記事では先日リリースされたGCP（Google Cloud Platform）Cloud Composerの最新バージョンCloud Composer 2について紹介します。 ZOZOTOWNでは、多種多様な商品が毎日新たに出品されています。現在MLOpsブロックでは、機械学習で商品情報の登録を補佐するシステムを開発しています。 このシステムでは商品情報を保存するデータベースへ大量の書き込み処理が発生します。このアクセスによる負荷が日常業務に影響を及ぼすリスクを最小限に抑えるため、推論処理は夜間に行います。夜間に処理を完了させるには強力なマシンリソースを使用する必要があります。コストの観点から処理が行われていない時間はマシンリソースを使用停止する必要もあります。また、人手を介さずに安定して稼働出来る仕組みも求めら

[kenji_matsuoka]

Airflowが圧倒的に使いやすくなっていた件

[sh19910711]

"Cloud Composer 2: GKE環境はGKE Autopilot上に構築 + Podsで使うvCPU、メモリ、ストレージをそれぞれ個別に指定出来るようになりました / Airflow2ではワーカーがタスクを終了時に後続の実行可能なタスクの存在を確認"

[misshiki]

“新しくなったCloud Composer 2とAirflow2の特性を紹介。 Cloud Composer 2とAirflow2を組み合わせることで、可用性が高く低コストで高速なワークフロー環境を簡単に作ることが出来るようになりました。”

[m_2kyym]

:eyes: