新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics

最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキテクチャで、 2020年にDatabricks社により提唱され、新しいデータ基盤アーキテクチャとして注目されているようです。 www.databricks.com そこで今回、「データレイクハウス」について調べてみたことをまとめてみたいと思います。 なぜデータレイクハウスが注目されているのか？ データウェアハウスの特徴・課題 データレイクの特徴・課題 データレイクハウスの特徴 データレイクハウスのアーキテクチャ Azure Azure Synapse Analyticsを

[legoboku]

データウェアハウスの課題として挙がってる課題がもはや解決されてるので前提がすでに崩れてる感あり。半構造化、非構造化データの対応とか

[gactocat]

“Databricks社により”

[tmatsuu]

メモ

[vanish_l2]

クラウドスパナーも安くならんかなあ

[chanyou0311]

DatabricksのUnity Catalog使ってるけど、普段はファイルの実体を意識せずクエリ投げれて使用感はDWHと変わらない印象。必要な時に明示的にストレージ等を指定できるので、ガバナンス上の理由等で使い分けるとよさそうな感じ

[rawwell]

"データレイクハウスでは、データレイクをメタデータを扱うレイヤーを重ねることで、 データレイク内のデータを直接扱うのではなく、メタデータを操作する事で扱っ"

[nakag0711]

ファイルベース列指向DBってことかと思うが、C/S型DWHに対するメリットはコストのみなのか？一旦集めたファイル置く場所は必要そうな気がするからDWHの置き換えっぽいけども

[heppokopg2013]

GCPはないのかな？

[kagehiens]

面白いけど、まだ業務利用するチャンスがないんだよなぁ。

[sh19910711]

"データレイク: 自由にデータが配置できる反面、本当に必要なデータが見つかりづらくなる / Azure Synapse サーバーレス SQL プール: Azure Data Lake Storageに保存されたParquetファイルに対し、SQLベースでデータ探索"