Digdag 入門 - GMOインターネットグループ グループ研究開発本部
D. M. です。レガシーの crontab が肥大化して困っています。今日はそのリプレイス候補である Digdag を使ってみた話です。 やりたいこと crontab は Linux のスケジューラの仕組みで定期バッチの実行用途でよく利用されますが低機能です。順序の依存関係やアラートは毎回独自に作りこまなければいけません。そのため近年は代替スケジューラを利用するケースが多いです。その候補のひとつである Digdag について検証したいと思いました。 Digdag を使うべき人 一般的にバッチスケジューラに求められる要件的には以下のようなものがあります。 ・スケジュール実行 ・複数バッチの順番の制御（ワークフロー） ・GUIでの管理 ・失敗時のアラート ・SLA 機能（長時間実行していたらアラートを飛ばす） ・分散実行 などなど 代替として広く知られているものですと Jenkins でのワ
StackStorm ワークフローエンジンによる運用コスト・リスク低減の取り組み // Speaker Deck
#workflowenginesnight にてお話させていただいたスライドです！ インフラエンジニア" が行う運用作業では、チケット管理システムや、ハードウェア管理システム、構成管理システム、ソースコード管理システムなど、複数のシステムに跨ったオペレーションを行います。 こうした運用作業には、運用者の作業・習熟コストがシステムの複雑さに比例する、長く運用されたシステムの置き換えが難しくなるといった問題がつきまといます。 このセッションでは、DMM.comラボにおける StackStorm を用いたそれらの改善の取り組みと、何故 StackStorm に注目しているかについて共有させていただきました！
「Digdag x Dockerでモダンなバッチ処理環境を構築」でLTしました！
「DigDag」はTreasure Data製のワークフローエンジンのOSSです。ワークフローエンジンを使うことでバッチ処理の依存関係を明確に定義できたり、ジョブの管理をしやすくなります。また、Dockerと組み合わせることで、言語や環境を自由に選ぶことができます。 🏈 紹介スライド2017/6/9に発表したDigdagの紹介LTのスライドです。Web画面からタスクの実行状況がわかったり、再実行ができたりするのは便利です！ 🍣 Digdagの特徴 手動で行っている操作をYAML(.dig) で「ワークフロー」に書いて定義できます 依存関係のある複数のタスクを管理・実行しやすくするためのしくみです タスクが失敗した場合、時間内にワークフローが終了しない場合の通知を行うことができます PostgreSQLだけを維持すればDigdagサーバはいつでも立てたり落としたりできる本番環境に優しい設
Digdag x Dockerでモダンなバッチ処理環境を構築 | 酒と涙とRubyとRailsと
「DigDag」はTreasure Data製のワークフローエンジンのOSSです。ワークフローエンジンを使うことでバッチ処理の依存関係を明確に定義できたり、ジョブの管理をしやすくなります。また、Dockerと組み合わせることで、言語や環境を自由に選ぶことができます。 🤔 紹介スライド2017/6/9に発表したDigdagの紹介LTのスライドです。Web画面からタスクの実行状況がわかったり、再実行ができたりするのは便利です！ 🚕 Digdagの特徴 手動で行っている操作をYAML(.dig) で「ワークフロー」に書いて定義できます 依存関係のある複数のタスクを管理・実行しやすくするためのしくみです タスクが失敗した場合、時間内にワークフローが終了しない場合の通知を行うことができます PostgreSQLだけを維持すればDigdagサーバはいつでも立てたり落としたりできる本番環境に優しい設
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
