http://morizyun.github.io/digdag/ に入門記事を書きましたのでよければこちらも読んでみてください!
http://morizyun.github.io/digdag/ に入門記事を書きましたのでよければこちらも読んでみてください!
digdag入門しはじめた— hatappi (@hatappi) 2017年5月11日 しました DigdagはDocker上でタスクに依存性をもたせて処理を実行するために使用し始めました Digdagを使うことが出来るDocker Imageは今回は自前で用意したものを使用します ※ Digdagのバージョンは0.9.10 https://hub.docker.com/r/hatappi/digdag/ ENTRYPOINTにはdigdagを指定しているので docker run hatappi/digdag init hoge みたいに使えます 例えば下記のようなワークフローを/tmp/workflow.dig にホストマシンに定義したとします timezone: Asia/Tokyo +setup: echo>: SETUP! +echo_date: sh>: date +clea
About ECSなどを試す余裕がなかったので一旦、docker-composeを使ってみたという話です。あんまりいいやり方ではないので継続的に使う場合は、エラー処理などを検討したほうが良いです! やりたかったこと mysqlにあるデータをbigqueryにロードしたい だれでも簡単に実行できるようにしたい ゆくゆくはECSとか使える下準備をしておきたい oneshotで実行したい やり方 基本的にこちらのブログをパクリ参考にさせていただきました。 yukiyan.hatenablog.jp 技術要素 docker 17.03.1-ce-rc1 docker-compose 1.1.2 digdag 0.9.8 embulk 0.8.18 docker # Dockerfile FROM java:8 # This file inspired by http://yukiyan.haten
データ分析や可視化に伴う複雑なジョブフローの改善にはdigdagが便利です。 少しずつ採用事例も増えているようです。 qiita.com 今回は、そんな便利なdigdagをECS上に構築しました。 *1 事前知識 digdagに関する基本的な知識は、以前のエントリを参考にしてください。 yukiyan.hatenablog.jp コード サンプル用にコードを公開しました。 github.com digdagをDockerizeし、設定ファイル(digファイル)も一緒に固めてECRにpushしています。 つまり、digdagの最新の設定ファイルは常にECRにある状態です。 digdagの設定ファイルを変更したブランチがmasterにマージされると、shippableがdocker build・digdag check・docker push・ECSに関する処理をおこない、古いdigdagコン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く