エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Digdag & ECS ワークフローエンジンでバッチ処理
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Digdag & ECS ワークフローエンジンでバッチ処理
前回S3へのPUTイベントをトリガーとしてLambda関数による機械学習モデルの構築と推論サービスの更新を自... 前回S3へのPUTイベントをトリガーとしてLambda関数による機械学習モデルの構築と推論サービスの更新を自動化しました。あとは自動化のパイプラインの中で、仮想通貨のデータを取得してS3へ配置する作業を定期的に行いたいです。APIからデータを取得して、csv形式でS3へ保存するだけなのでシェルスクリプトとAWS CLIでも簡単に処理できますが、本稿ではワークフローエンジンであるDigdagをAWS ECS上で試してみました(EC2でなくFargateです)。ネタとしては若干古いですが個人的な備忘録として残しておきます。なお公式リポジトリにはStep Functionsで機械学習のモデル構築からデプロイまでオーケストレーションしている例があるのでそちらのほうが今っぽいと思われます。 機械学習における環境構築から開発・運用や推論を幅広くカバーするAWSのマネージドサービスであるAmazon S