ECSにおける バッチ運用について - Speaker DeckECS + Hako + Digdagによるバッチ運用 AWS SUMMIT TOKYO 2017 JAWS-UG ナイトイベント
digdagをDockerizeしてECS上で運用することにしました - 雑なメモ
データ分析や可視化に伴う複雑なジョブフローの改善にはdigdagが便利です。 少しずつ採用事例も増えているようです。 qiita.com 今回は、そんな便利なdigdagをECS上に構築しました。 *1 事前知識 digdagに関する基本的な知識は、以前のエントリを参考にしてください。 yukiyan.hatenablog.jp コード サンプル用にコードを公開しました。 github.com digdagをDockerizeし、設定ファイル(digファイル)も一緒に固めてECRにpushしています。 つまり、digdagの最新の設定ファイルは常にECRにある状態です。 digdagの設定ファイルを変更したブランチがmasterにマージされると、shippableがdocker build・digdag check・docker push・ECSに関する処理をおこない、古いdigdagコン
Digdag on Dockerで何度コンテナを立て直しても状態を維持する - hatappi.blog
digdag入門しはじめた— hatappi (@hatappi) 2017年5月11日 しました DigdagはDocker上でタスクに依存性をもたせて処理を実行するために使用し始めました Digdagを使うことが出来るDocker Imageは今回は自前で用意したものを使用します ※ Digdagのバージョンは0.9.10 https://hub.docker.com/r/hatappi/digdag/ ENTRYPOINTにはdigdagを指定しているので docker run hatappi/digdag init hoge みたいに使えます 例えば下記のようなワークフローを/tmp/workflow.dig にホストマシンに定義したとします timezone: Asia/Tokyo +setup: echo>: SETUP! +echo_date: sh>: date +clea
Digdagのセッションについて調査メモ - Qiita
+task1: sh>: echo task1 +task2: sh>: echo task2 +task3: sh>: echo task3 $ digdag run workflow.dig 2017-03-15 20:25:15 +0900: Digdag v0.9.5 2017-03-15 20:25:17 +0900 [WARN] (main): Using a new session time 2017-03-15T00:00:00+00:00. 2017-03-15 20:25:17 +0900 [INFO] (main): Using session /private/tmp/tmp.jxd7km/mydag/.digdag/status/20170315T000000+0000. 2017-03-15 20:25:18 +0900 [INFO] (main): Start
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
