Luigi によるワークフロー管理 - Qiita

Workflow Hacks! #1 が開催されるなど、データ分析のワークフロー管理が見直されつつある今日この頃ですが、Treasure Data 社内ではこれまでのところ Luigi を主なツールとして利用しています。ここでは Luigi を使ったワークフローがどのようなものであるかを紹介します。 （追記: 2016-09-18）その後、社内ワークフローは Digdag（主にSQLのクエリ実行に利用）、及び Airflow（主にスクリプトの実行に利用）へと置き換わり、Luigi を利用することはほぼなくなりました。 ワークフロー管理ツールとは？ データ分析における「ワークフロー管理ツール」とは、データ処理の過程で必要となる一連のタスク(データのロードや、クエリの実行など)を自動化し、管理するために設計されたソフトウェアです。例えば、毎日決まったタスクをスケジュール実行したり、問題が起きた

[sh19910711]

"エラーに強いワークフローを作るには、エラー通知を受け取ってから何かするのではなく、エラーから自動回復するようなリカバリ可能なタスクの実装を心掛けることが重要"

[nntsugu]

ワークフロー管理

[tnao]

“Luigi”

[u-ichi]

今度素振りしてみよ TreasureData - Luigi によるワークフロー管理 - Qiita

[scalar]

bq_sushi2 で言いたかったこと大体書いてあった。

[tofu-kun]

良さそうである

[BigFatCat]

"つまり Luigi とは、タスクが失敗する可能性をあらかじめ考慮の上で、まだ終わっていないタスクだけを選択的に実行するためのフレームワークです"

[sonots]

Luigi さん

[toyama0919]

Workflow系、来年あたり一気に盛り上がりそう

[kimutansk]

GUIやスケジューラこそないものの、ステータス管理やリトライがシンプルでPython書けるなら使いやすいパターンですか。わかりやすい。

[wyukawa]

く、詳しい。。。

[taroleo]

これは詳しいな