digdag中心の生活20240516 OpenID TechNight Vol.21 「OIDFシェアードシグナルフレームワーク（ID2）を利用してリアルタイムでセキュリティシグナルを共有するための最新情報」
DigdagをHA構成にしてみた - ZOZO TECH BLOG
こんにちは、最近のマイブームはマヌルネコ動画な新事業創造部バックエンドエンジニアの塩崎です。 今回のテックブログでは、以前にDigdagを紹介した記事の続編として、DigdagをHA構成にするためのTipsなどを紹介します。 Digdagとは Digdagはワークフローエンジンと呼ばれるソフトウェアです。 複数個のタスク間の依存関係からなるワークフローを定義し、そのワークフローの実行及び管理を行います。 この説明だけですと、何が便利なのかいまいちピンとこない方が多いかと思います。 ですが、かゆいところに手が届く便利ソフトウェアです。 具体的なかゆいところの紹介は以前にDigdagを紹介した記事の前半部分に書かれています。 Digdagを使用したことのない方はこちらを読んでから本記事を読み進めると理解しやすいかと思います。 tech.starttoday-tech.com さて、前回の記事で
Jenkinsの無秩序なジョブをDigdagで再定義する - log.fstn
jenkins で回してる ci のジョブを digdag で書き直してみたけど、フローがひと目で分かるし、git で管理できるし、並列化も簡単だし最高だ。— Kosuke Adachi (@foostan) October 8, 2016 ということで Jenkins のジョブを Digdag に置き換えて Git で管理すると最高なので、今困っている人はやりましょう。1日あれば多分終わります。 今回試したのは CI のジョブですが、どんなジョブでも応用できると思います。 詳しく こないだ Rebuild 152 聴いていたらその会話の中に「Jenkinsおじさん」ってワードが出てきたんですよ。 rebuild.fm Jenkinsをそれなりの規模で使っている人ならお馴染みだと思うんですが、Jenkinsって自由度が高くてジョブの編集も簡単にできるから気をつけないとジョブがカオスな状態に
Go言語製 Digdag Client (mog) をリリースしました #digdag | iroilog.net
Go言語製 Digdag Client (mog) をリリースしました #digdagJune 25, 2017 こんばんは！久しぶりの更新となりましたが… またしてもDigdagネタです。 以前 Workflow Engines Night という名の勉強会で登壇させてただく機会があり、 社内におけるDigdagの導入事例を紹介させていただきました！ その時の資料がこちら↓ こちらのセッションの中でスライドの48枚目~出ています mog というGo言語製のツールを事例紹介させていただいたのですが、 意外と好評だったこともありまして、本日Githubにてリリースをいたしました！ mogのリポジトリはこちらです。 特徴Go言語製でJavaがなくても動かすことができるクライアントですただし、Digdagはサーバ / クライアント構成を前提としていますビルド済みのバイナリを配布しているので、Go
Digdagによる大規模データ処理の自動化とエラー処理
2. Sadayuki Furuhashi A founder of Treasure Data, Inc. located in Silicon Valley. OSS projects I founded: An open-source hacker. Github: @frsyuki 3. What’s workload automation? • あらゆる手作業の自動化 > バッチデータ解析の自動化： • データロード - ETL - JOIN- 集計処理 - レポート生成 - 通知 > メール送信の自動化 • アドレス一覧の取得 - 対象の絞り込み - テンプレートから 本文を生成 - メール送信 - 完了通知 > システム間のデータ連携の自動化 > サーバ・DB・ネットワーク機器の管理やプロビジョニング の自動化 > テスト・デプロイの自動化（CI） 4. 求められる機能 •
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
digdag の rb オペレータで bundle exec を使う３つの方法 - Qiita
Digdagを導入してみて
bq>: Running Google BigQuery queries — Digdag 0.9.5 documentation
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11