2. • (Masachika Yamaguchi) • twitter @tyakachika • • • Innova Structure(2015/04 ~ ) • DATUM STUDIO(2016/12 ~ ) • Toreta(2017/07 ) <-
BigQueryで作る分析環境
2. • (Masachika Yamaguchi) • twitter @tyakachika • • • Innova Structure(2015/04 ~ ) • DATUM STUDIO(2016/12 ~ ) • Toreta(2017/07 ) <-
【レポート】Workflow Engines Night #workflowenginesnight | DevelopersIO
DI部の川崎です。Digdag使ってます。 今日はDMM.comラボさんが開催された、ワークフローエンジンをテーマにした勉強会「Workflow Engines Night」に参加する機会がありましたので、Digdagの開発者古橋さんのセッションを中心に、参加レポートをお届けします。 勉強会のハッシュタグはこちら #workflowenginesnight はじめに 会場は、六本木一丁目のDMM.comラボさんのオフィスでした。勉強会の概要を引用します。 概要 今回はワークフローエンジンをテーマに勉強会を開催致します。 DMM.comラボからはビッグデータ部で『Digdag』を実際に導入・運用した話、 またインフラ本部からは『StackStorm』による運用コスト・リスク低減の取り組みについてお話しをさせていただきます。 なお、今回は『DigDag』の開発者である 古橋 貞之氏が帰国のタイ
Digdagへ日次バッチを移行して幸せになるお話
DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。 ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決のために取り組んだ内容について紹介させていただきました！
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
