Digdag Serverを使う - Qiita
database.type = postgresql database.user = postgres database.password = passwd database.host = 127.0.0.1 database.port = 5432 database.database = digdagdb DB作成 CREATE DATABASE digdagdb; テーブル作成 digdag server --config postgresql.properties この時テーブルが無ければ作成されます. Server起動 digdag server --config postgresql.properties 自動起動 今の所なさそう、自分なら以下の何れかで自動起動するようにする. Systemd digdag.service GitHub:Gist rc-script(/etc/i
Workflow Engines Meetup #1 に参加してきた #wfemeetup - 試纏
Workflow Engines Meetup #1 - connpass 2017/03/09 Workflow Engines Meetup #1 #wfemeetup - Togetterまとめ ビッグデータ基盤周りの業務に携わっている者にとって『ワークフローエンジン』は非常に重要な位置を占める"関心事"です。OSSから商用のものまでこの分野のツールやプロダクトは数多く存在し、多かれ少なかれ皆さん苦労しながらもそれぞれの利用ノウハウを蓄積している状況の様です。そんな中、そのものズバリの勉強会が企画されていたので速攻で申し込み、この日参加してきました。 イントロ セッション内容 Digdag：Digdagの特徴とQuick Start Jenkins：Jenkins 2.0 Pipeline & Blue Ocean Luigi：Luigiを使っている話 Azkaban：Azkaban
Digdag 入門 - GMOインターネットグループ グループ研究開発本部
D. M. です。レガシーの crontab が肥大化して困っています。今日はそのリプレイス候補である Digdag を使ってみた話です。 やりたいこと crontab は Linux のスケジューラの仕組みで定期バッチの実行用途でよく利用されますが低機能です。順序の依存関係やアラートは毎回独自に作りこまなければいけません。そのため近年は代替スケジューラを利用するケースが多いです。その候補のひとつである Digdag について検証したいと思いました。 Digdag を使うべき人 一般的にバッチスケジューラに求められる要件的には以下のようなものがあります。 ・スケジュール実行 ・複数バッチの順番の制御（ワークフロー） ・GUIでの管理 ・失敗時のアラート ・SLA 機能（長時間実行していたらアラートを飛ばす） ・分散実行 などなど 代替として広く知られているものですと Jenkins でのワ
StackStorm ワークフローエンジンによる運用コスト・リスク低減の取り組み // Speaker Deck
#workflowenginesnight にてお話させていただいたスライドです！ インフラエンジニア" が行う運用作業では、チケット管理システムや、ハードウェア管理システム、構成管理システム、ソースコード管理システムなど、複数のシステムに跨ったオペレーションを行います。 こうした運用作業には、運用者の作業・習熟コストがシステムの複雑さに比例する、長く運用されたシステムの置き換えが難しくなるといった問題がつきまといます。 このセッションでは、DMM.comラボにおける StackStorm を用いたそれらの改善の取り組みと、何故 StackStorm に注目しているかについて共有させていただきました！
「Digdag x Dockerでモダンなバッチ処理環境を構築」でLTしました！
「DigDag」はTreasure Data製のワークフローエンジンのOSSです。ワークフローエンジンを使うことでバッチ処理の依存関係を明確に定義できたり、ジョブの管理をしやすくなります。また、Dockerと組み合わせることで、言語や環境を自由に選ぶことができます。 🏈 紹介スライド2017/6/9に発表したDigdagの紹介LTのスライドです。Web画面からタスクの実行状況がわかったり、再実行ができたりするのは便利です！ 🍣 Digdagの特徴 手動で行っている操作をYAML(.dig) で「ワークフロー」に書いて定義できます 依存関係のある複数のタスクを管理・実行しやすくするためのしくみです タスクが失敗した場合、時間内にワークフローが終了しない場合の通知を行うことができます PostgreSQLだけを維持すればDigdagサーバはいつでも立てたり落としたりできる本番環境に優しい設
Digdag x Dockerでモダンなバッチ処理環境を構築 | 酒と涙とRubyとRailsと
「DigDag」はTreasure Data製のワークフローエンジンのOSSです。ワークフローエンジンを使うことでバッチ処理の依存関係を明確に定義できたり、ジョブの管理をしやすくなります。また、Dockerと組み合わせることで、言語や環境を自由に選ぶことができます。 🤔 紹介スライド2017/6/9に発表したDigdagの紹介LTのスライドです。Web画面からタスクの実行状況がわかったり、再実行ができたりするのは便利です！ 🚕 Digdagの特徴 手動で行っている操作をYAML(.dig) で「ワークフロー」に書いて定義できます 依存関係のある複数のタスクを管理・実行しやすくするためのしくみです タスクが失敗した場合、時間内にワークフローが終了しない場合の通知を行うことができます PostgreSQLだけを維持すればDigdagサーバはいつでも立てたり落としたりできる本番環境に優しい設
ワークフローエンジンDigDagのサーバ/クライアント構成を試してみる - techium
ワークフローエンジンというのを知っていますか。 申し訳ないのですが私は全く知りませんでした。 ワークフローエンジンの定義は仕事の流れをツールが回してくれるツールのことが一般的のようです。 幾つかそういったワークフローエンジンがあるようですが今回はTreasure Data社がOSSとして公開し始めたDigDagをご紹介いたします。 DigDagとは 目的は手動でできる仕事をすべて自動化する目的で開発が進められているようです。 そのため用途はタスクを実行した時にエラーが発生した場合にリトライを何回実施するかをyamlに記述しておけば同じタスクを何度も実行できたり、失敗を何度も繰り返したらメールを送信をさせたりなどが実施できるようなことができます。 現在はタスクとして実行できる言語はRuby、ShellScript、Pythonとなりますが拡張性が高いアーキテクチャになっており、プラグインを追
古橋貞之さんインタビュー - Tokyo RubyKaigi 11
17:55 Keynote 分散ワークフローエンジン『Digdag』の実装 ワークフローエンジンは、依存関係のある複数のタスクを実行するツールです。古典的なMakefileを始め、Python製のLuigi、商用のJP1/AJS3など、様々な実装があります。Digdagは、現在活発に開発が進んでいる新しいワークフローエンジンです。このセッションでは、ツリー構造を持つワークフローの状態遷移を効率的に実行する手法、ワークフローの実行状態の永続化と分散実行、タスクスケジューラ、Dockerによるサンドボックス化など、その実装手法を紹介しながらワークフローエンジンの構成技術について解説します。 必要となる知識 SQLの基本的な知識と、Rubyのリフレクション、オプティマイザなどの知識があると、より楽しめると思います。 古橋 貞之 Treasure Data, Inc. Founder & Soft
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ubuntu で Digdag サーバを作るまでの手順 - Qiita
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11