[B! データ][DWH] yassan0627のブックマーク

yassan0627 id:yassan0627

データとDWHに関するyassan0627のブックマーク (2)

カラムナフォーマットのきほん〜データウェアハウスを支える技術〜 - Retty Tech Blog
こんにちは、Retty.Inc ソフトウェアエンジニア兼データサイエンティストのchie（@chie8842）です。好きなたべものは焼肉とみかんです。現在Rettyでは、次世代分析基盤を構築しています。Rettyでは、サービス拡大に伴いログの急増や分析需要の拡大が見込まれるため、高いスループットとコストパフォーマンスを両立する、スケールするアーキテクチャ設計が求められています。今回は、こうしたスケールするアーキテクチャ設計の実現のために理解しておくべきDWHのコア技術の一つである、カラムナフォーマットに焦点を当てて紹介します。はじめに - カラムナフォーマットとはカラムナフォーマットとは、データベースの分析用途に利用されるファイルフォーマットの種類の一つです。大量のデータを扱う際に効率的に圧縮してストレージコストを下げたり、計算時に必要なデータだけを取り出して計算コストを小さくで
yassan0627 2018/12/12
分析

データ

ORC

Parquet
リンク
はじめての Azure Data Lake ~ そもそも Data Lake って何？ ~
Microsoft Japan Data Platform Tech Sales Team 丹羽勝久 1. はじめに昨今、クラウドを中心としたトレンドとして、AI、IoT、機械学習などのキーワードが非常に盛んに取り上げられていますが、このような技術、手法が進化すればするほど、扱うデータの量、形態が多様になり、よりデータの蓄積基盤が重要になってきます。これらの領域が扱う大容量のデータ蓄積基盤の１つにデータウェアハウス（DWH）がありますが、このデータウェアハウスと併用して利用するデータレイク基盤が、現在注目されています。そもそもデータレイク基盤とは何でしょうか？何故、データウェアハウスだけでなく、データレイク基盤も必要なのでしょうか？ Wikipedia（英語版）を見ると、以下のような記述があります。 ※引用：Wikipediaより（ https://wikipedia.org ） T
yassan0627 2017/02/22
DWH

データ
リンク
1