データレイクの新しいカタチ：Open Table Formatの紹介 - 流沙河鎮

はじめに Open Table Formatは次世代のデータレイクの基盤となり得る技術で、徐々に導入事例(末尾に列挙)が増えてきているものの、日本での認知度は発展途上な印象がある。本記事ではOpen Table Format登場の背景を紹介する。執筆にあたって、Apache Iceberg: An Architectural Look Under the CoversとAWSにおける Hudi/Iceberg/Delta Lake の 使いどころと違いについてを特に参考にした。 Open Table Formatとは？ Open Table Formatとは、従来のデータレイクの技術的な課題&ユースケースの要請に応える形で登場した、データレイクに最適化されたテーブルフォーマットを指す概念で、上手く活用することでクエリプランニング、実行性能の最適化、効率的なUpdateやDelete、タイム

[sh19910711]

"Table Format: 徐々に導入事例が増えてきている + 日本での認知度は発展途上 / AWSにおける Hudi/Iceberg/Delta Lake の 使いどころと違いについてを特に参考 / ここでのデータレイクは(James Dixonの原義)と直接的に同じではなく"

[nminoru]

Apache Hudi、Apache Iceberg、Delta Lake