EC2とcronで動いていたバッチ基盤をマネージド化した - Uzabase for Engineers

概要 ソーシャル経済メディア「NewsPicks」SREチームの中川です。 皆さんはバッチ処理基盤はどうされていますでしょうか。 NewsPicks では少し前まではそれらをEC2、cronの組み合わせで動作させていました。 何年も前からこの仕組みだったのですがSREとしてはEC2の面倒見るのも手間ですし、それ以上にcronを変更する際のオペレーションミスが目立ったのが懸念点でした。 その為、まずはAWSマネージド化するための基盤を整備し、その後バッチアプリを載せ替えていくようにしました。 対応前の基盤構成 同じSREチームの安藤さんが CloudNative Days Tokyo 2023 で登壇されたときの資料をお借りします。 ご覧の通り、大体のサービスはマネージド化していましたがバッチ基盤だけは旧来のままEC2インスタンスを利用していました。 10年モノのサービスのインフラを漸進的

[integrated1453]

crontab -eから卒業できた！うれしい。重複起動抑止やタイムアウト処理、ECSRunTaskのAWS起因の失敗に対するリトライなど、Step Functionsに詰め込んで安定したバッチ実行基盤にできました。

[akishin999]

“Fargate”

[wtatsuru]

CNDTの発表がすごくよかったやつ

[threeMonths]

ecsでもスケジュールドなタスクを定義できたと思うけど、それだと二重起動の防止ができないか。

[masa_edw]

マネージドになるとコンソールで見れるし実行も簡単だしとても良くなった！

[troter]

Step Functions で実行履歴が簡単に確認できるのも良い