次世代のワークフロー管理ツールPrefectでMLワークフローを構築する CyberAgent Developers Blog | サイバーエージェント デベロッパーズブログ

※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい

[michael-unltd]

“PrefectはAirFlowやArgoWorkflowのようなワークフロー管理ツールで、2018年にリリース”

[kakku22]

Prefect 知らなかった❗とてもわかりやすくまとまってる👍Airflow の使いにくいところを解決してるのか〜

[misshiki]

“MLワークフローツールをPrefectへ移行した話と、AWS上でPrefectのMLワークフロー環境を構築する方法を紹介”