dbt Labs | Transform Data in Your Warehouse
Build trusted data products faster Accelerate your data transformation process with dbt Cloud and start delivering data that you and your team can rely on. Delivering reliable data shouldn’t be so hard Ditch outdated tools that bog down your teams and impair data trust. There’s a better way to deliver data products that can free you from slow, costly, and unreliable data development. Stop deliveri
GitHub - facebookarchive/bistro: Bistro is a flexible distributed scheduler, a high-performance framework supporting multiple paradigms while retaining ease of configuration, management, and monitoring.
This README is a very abbreviated introduction to Bistro. Visit http://facebook.github.io/bistro for a more structured introduction, and for the docs. Bistro is a toolkit for making distributed computation systems. It can schedule and run distributed tasks, including data-parallel jobs. It enforces resource constraints for worker hosts and data-access bottlenecks. It supports remote worker pools,
Job管理をAirflowからKuroko2に乗り換えたら幸せになった - hatappi.blog
Speeeアドベントカレンダー 2日目の記事です。 前日の記事は@hiragramのTravisCIでiOSの依存ライブラリの更新を自動化する - TECHNICA Speee engineer blog エンジニアの@hatappiです。 前年度のアドベントカレンダーでこんな記事書いてました。 hatappi.hatenablog.com 要するに定期処理をうまいこと実現したい！そのためにAirflowを使ってはどうかっていう記事です ※ Airflowはデータパイプラインのスケジュールとかモニタリングできるツールです。簡単にいうとジョブ管理ができるシステム Airflowを使うと 定期実行したい 成功、失敗において通知したい 画面上から再実行したい logを画面からおいたい といった定期処理でやりたいことを実現できるので、あれから実際に会社でも導入して 現在稼働しておりディレクターの方
Airflow: a workflow management platform
Airbnb is a fast growing, data informed company. Our data teams and data volume are growing quickly, and accordingly, so does the complexity of the challenges we take on. Our growing workforce of data engineers, data scientists and analysts are using Airflow, a platform we built to allow us to move fast, keep our momentum as we author, monitor and retrofit data pipelines. Today, we are proud to an
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - treasure-data/digdag: Workload Automation System
