タグ

ブックマーク / qiita.com/xerial (1)

  • Treasure Data Update 2015 - Presto - Qiita

    Treasure Dataではfluentd, 各種SDK, Data Connectorなどで収集されたデータに対して、Hive, Prestoによる分散SQLクエリが実行できます。特にPrestoはこの1年で大きく進化しましたので、ここでその内容について紹介していきたいと思います。 Prestoクエリの利用量は増え続けていて、2015年12月現在、Treasure Dataの利用統計では、 1日あたり5万クエリ (月換算で150万クエリ) 1日あたり10兆 (10 trillion) レコード を処理しています。2015年の始まりの時点では、1日あたりおよそ5000クエリ、1兆レコードという数字でしたので、この1年でほぼ10倍になった計算になります。昨年末のPrestoサービスの開始にあたり、CTOの太田と相談して10倍スケールできるように準備をしていたのですが、想定していたより早くこ

    Treasure Data Update 2015 - Presto - Qiita
    InoHiro
    InoHiro 2015/12/07
    すごいデータ量だ
  • 1