2019年のワークフローエンジンまとめ - Qiita

概要 データパイプラインの管理にワークフローエンジンを導入したいのですが、今の要件に対してどれが合っているのか判断しきれない部分があるので整理してみました 最近の導入事例や発表をみるかぎりAirflow, Argo, Digdagあたりが人気なのかなと思います ワークフローエンジンとは ワークフローエンジンとは定期的なバッチ処理をうまく処理できるように、バッチ実行を管理してくれるソフトウェアのことです 古典的な実現方法としては適当なlinuxサーバーの上でcron実行させることが考えられますが、以下のような問題があります ジョブごとの依存関係を表現できない。cronの時間指定で実現させようとすると、タスクAを１時に開始してそれが完了するとみなして依存するタスクBを２時に開始するというような書き方をすることになるが、実際にタスクAが２時までに終わらなかった場合に処理が上手く実行できない タス

[shozzy]

ワークフローエンジンという言葉、そういう意味もあるのか。稟議書の電子決裁的なやつじゃなくて。

[awkad]

どれもJP1なんかに比べるとオモチャ感ある。この分野に関してはOSSはプロプライエタリに負けてる。そもそも作ってる人たちがJP1とかに触れたことが無さそうなのが原因だろうか

[kamenashi1982]

Good

[tmatsuu]

メモ

[otihateten3510]

存在自体知らんかった

[legoboku]

airflowはGCPのマネージスドサービスがあるのが良い