データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog

こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイクに生のままに入れること— Takuro SASAKI (@dkfj) 2021年5月1日 データレイクとDWHの分離について呟いたら、それなりの反響を頂きました。せっかくの機会なので、もう少ししっかりと解説してみます。何故、データレイクとDWHを分離する必要があるのか、格納するデータの構造と、データレイク・DWHの役割の観点から考えてみましょう。まずは、データの種類として、構造化データや非構造化データの説明をします。その次に、データレイクとDWHなどの用語・役割の説明をし、最後にアーキテクチャを考えてみます。 構造化データと半構造化データ、非構

[legoboku]

うちは真面目にデータレイクやってないが、S3に生データ、必要に応じて加工済みデータをバックアップした上で、Snowflake にデータを入れてる。

[nntsugu]

説得材料が整理されている

[swfz]

“OLAP”

[ys0000]

使うかどうかわからん非構造化データをデータレイクで保持し続ける意味があるのか、余り得心が行かなかった。データソース自体は消さず残るものである筈。必要になったタイミングでソースから変換すれば良さそう。

[manji6]

あんまりマーケティングのことを考えておらず、分析屋の話に見えますね。中間処理部分のコストを上げてしまうと、結局分析して見つけたインサイトをどうやって活用するんだろう。

[sh19910711]

"PentahoのCTO、James Dixonが2011年にデータマートに対比する形でデータレイクの概念を提唱 / 半構造化データから構造化データを作り出す時は情報の切り捨てが行われます / 失われた情報は後から取り戻すことはできません"

[dkfj]

データ分析基盤を作る必要がある時に、これだけは考えておいて欲しいこと。データレイクとDWHは分離しようと。何故ならば、DWHは構造化データを扱うもので、非構造データが持っていた情報で欠損する部分があるから