AWSが提唱するゼロETLとは何か？概念と登場の背景の推察 - NRIネットコムBlog

こんにちは、佐々木です。年末に書こうと思って、すっかり忘れていた宿題です。 2022年末のre:InventのキーノートでAWSのCEOであるAdam Selipskyが、『A Zero ETL future』という概念が提唱しました。言わんとすることは解るのですが、これは一体どういう文脈で、なんのためなのだろうと疑問に思う方は多いと思います。そこで、自分なりにデータ分析を取り巻く現状と課題、ゼロETLの概念が出てきた理由をまとめてみます。これは私自身の思考なので、全然違う可能性が高いですので、悪しからず。 データ分析とETLの現状と課題 ゼロETLの話をする前に、データ分析とETLの現状の話をしましょう。データ分析をする際には、必ずデータが必要です。では、そのデータはどこからやってくるのか？単一のシステム内で分析する場合もありますが、多くの場合はいろいろなシステムから必要なデータを集めて

[Keisuke69]

個人的にはETLって大変な割に楽しくない処理ランキングの上位にいる。そしてAWSのこの話は『ゼロ』と言えるのかな。ここに関してはBQのアプローチのほうがやっぱり楽かなーと思ってる

[amatou310]

レイクに水を入れる前の処理が面倒なので、きたなくてもいいから突っ込んで、使う人が浄水して欲しいからこのあたりもっと便利になって欲しい

[joltkun]

“ETLのExtract（抽出）とLoad（格納）の部分を自動的にしてしまうという事になります。これがゼロETLの基本的な概念です。”

[stand-out]

インフラが全部AWSになる世界は、、、、来ない！

[dkfj]

S3で構築したデータレイクを中心としたアーキテクチャのAWSのデータ分析基盤にとって、Redshiftにデータをどう連携するかが課題。ゼロETLは、AWSからの答えだと思う

[georgew]

DWH（Redshift）にデータを入れてしまってSQLでグリグリ（Transform）する方が楽だよという話を書いていました。ETLならぬELTですね。この考え方で成功しているのが、Big Queryと個人的には考えています > あーなるほど。

[fn7]

S3におけばGlueのデータカタログとAthenaで簡単にサーバレスなデータレイクができるので、Redshiftを使うメリットがまだよくわかってない。

[for-my-internet-demo]

glueは割と筋肉のがマシって皆言ってるイメージだけど、主業務がdata opsの人はまた違うんだろか

[vanish_l2]

Big Query便利なんよな

[tsuboty]

Tが大変なんだよな。

[momonga_dash]

IT用語のゼロってもしかして実際ゼロじゃない？

[dekaino]

ETL…電総研ではない

[Shinwiki]

たまごとトマトとレタス抜き

[mysql8]

AWS版BigQueryはよ