PrestoとHyperLogLogで、大量ログからユニークユーザー数を高速に推定する（理論編） - Platinum Data Blog by BrainPad皆さん、こんにちは。マーケティングプラットフォーム本部で広告系製品の開発を担当している田頭です。 現在、ブレインパッドでは、DMP（※1）に蓄積されたさまざまなデータをもとに、ユーザー数を確認しながら直感的にセグメントを作成できる「DeltaCube（デルタキューブ）」という製品を提供しています。 ユーザーのセグメントを作成する際、担当者がストレスなくインタラクティブにセグメントの条件を設定しユーザー数を確認するためには、蓄積された大規模なデータの中から「高速に」ユニークユーザーの数を数えなければなりません。 このため、DeltaCubeでは、集計処理にPrestoと呼ばれる分散処理ミドルウェアを利用しています。 今回、このPrestoを利用したユニークユーザー集計の更なる高速化について検証作業を行いましたので、皆さんにご紹介したいと思います。 まずは「理論編」として、以下の内容を簡単に解
