AWSでバッチ処理を実装する際の選択肢とサービス比較

処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー

[manFromTomorrow]

ステップファンクションでピタゴラスイッチはホント不毛だと感じる

[vesikukka]

AWS Batchはなぁ。簡単なバッチならLambdaで、細かい制御がしたければJP1などを使うかも。運用エンジニアも手配しやすいし。あ、でも冗長化を考えるとコストが問題か。

[odakaho]

使いにくい・・ “AWS Batch”

[h_taiji]

保存

[BOOOOOOOON]

airflowはGUIが用意されてるけど分かりやすいようで分かりづらかったなぁ

[ryunosinfx]

SAMいいよねーSAM※ぎょーみんぐPCがしょぼすぎてコンテナ環境を用意できないのであれこれ要らない苦労をして耐えてるマン

[asa_ca3]

何がしたいのかによってまた違うかと思うが

[cocoasynn]

Step Functions であれやこれややるの正直だるいんだよな…

[minamijoyo]

AWSに足りないのはジョブスケジューラ

[tettekete37564]

弱小零細なのでイマイチ AWS でバッチ処理って何するのか分からないな。なんかサーバ作っといてJenkins とか Docker とかじゃダメな奴なんだろうけど

[hirorinya]

学び

[miyasakura]

Step Functionsを使わないECS単体の実行は失敗通知やリトライ処理を考えるのが面倒じゃないかなぁ。AWS Batchのがシンプルになるとおもう

[hirosuegari]

最近検討していて同じ印象

[kenzy_n]

それぞれの良し悪し