ヤフー発の OSS 、Multiple-Dimension-Spread（MDS）の紹介

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに こんにちは。 ヤフー株式会社 データ＆サイエンスソリューション統括本部データプラットフォーム本部データデリバリー部の井島＆大戸です。 今回は、ヤフー株式会社（以下ヤフー）が OSS として公開したカラムナストレージファイルフォーマットの Multiple-Dimension-Spread について、開発の背景を交えて紹介します。 Multiple-Dimension-Spreadとは Multiple-Dimension-Spread（以下MDS）はヤフーが開発したカラムナストレージフォーマットです。 大規模なデータを蓄えておく仕組みを湖として捉えたものをデータレイクといいます。 MDS はデータレイクにデータを保存、利

[koba789]

めちゃめちゃ気持ちがわかるやつ出てきたな

[tmatsuu]

良さそう。OSS期待

[progrhyme]

データ書き込み時にスキーマを必要としないカラムナストレージファイルフォーマット

[nahashim]

ヤフーがOSSとして公開したカラムナストレージファイルフォーマットの Multiple-Dimension-Spread について、開発の背景を交えて、データデリバリー部の井島さん＆大戸さんが紹介します。