データオーケストレーションツールDagsterの紹介

データオーケストレーションとは データオーケストレーションという言葉をご存知でしょうか？日本ではまだ耳慣れない言葉ですが、data orchestrationでgoogle検索すると実に3000万件以上ヒットし、世界的には十分に市民権を得ている言葉です。Databricksではデータオーケストレーションを以下のように説明しています。 データオーケストレーションとは データオーケストレーションとは、複数のストレージからサイロ化したデータを取り出し、組み合わせて整理し、分析に利用できるようにするための自動化されたプロセスです。 このプロセスでは、レガシーシステム、クラウドベースのツール、データレイクといったあらゆるデータセンターが接続されます。データは標準形式に変換されるため、理解しやすく、容易に意思決定に利用できます。 オーケストレーションとは、コンピュータシステム、アプリケーション、および

[misshiki]

“現在データオーケストレーションに利用されているツールとして未だ主流のAirflow、その後継と目されるPrefect、そして今回中心となるDagsterの三つを比較”

[hiro_dodge]

“特徴です。 Prefectはタスクスケジューラの進化型というイメージで、自らをタスクオーケストレーション”

[ryoma_robo]

Airflowはいろいろ辛くなってきたので、後で調べてみよう

[tmatsuu]

Airflow、Prefect、Dagster。ほほう

[sh19910711]

"Prefect Orion: 2021年から開発が進められていますが、データ処理や機械学習、CI/CDに力を入れており + Dagsterに機能を寄せてきている / Dagster: 2019年頃より開発が始まり、Prefect同様Airflowを批判的に発展継承する目的で作られ"