タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

impalaとperformanceに関するshimookaのブックマーク (2)

  • Impala Cookbook (非公式)日本語版 (2) メモリ使用量

    昨日のImpala Cookbookの非公式日語版の続きです。昨日は「Impalaの物理設計とスキーマ設計」でした。日は「Impalaのメモリ使用量」です。 例によって駆け足で日語化してるので、間違いがあればコメントに書き込むかTwitterでメンションしてください。 原文: [1] The Impala Cookbook http://www.slideshare.net/cloudera/the-impala-cookbook-42530186 メモリ使用量 – 基 メモリ以下により使用される Hash Join – 復元(decompression)、フィルタリング、射影 (projection)後のRHSテーブル Group by – グループ数に比例 Parquetの書き込みバッファ – パーティションごとに1GB IOバッファ (クエリに渡って共有される) メタデータの

    Impala Cookbook (非公式)日本語版 (2) メモリ使用量
  • Impala Cookbook (非公式)日本語版 (1) 物理設計とスキーマ設計

    The Impala Cookbook 概要 Part 1 – 基 物理設計とスキーマ設計 Impalaでのメモリ使用量 Part 2 – 実用上の問題 クラスタのサイジングと推奨ハードウェア Impalaでのベンチマーク マルチテナントのベストプラクティス クエリのチューニングの基 Part 3 – Impalaの外部 Apache Hive, Apache Sentry, Apache Parquetとのやり取り 物理設計とスキーマ設計 – 概要 スキーマ設計のベストプラクティス データ型 パーティション設計 一般的な質問 物理設計 ファイルフォーマット: いつ何を使うか ブロックサイズ(オプション) 物理設計とスキーマ設計 – データ型 数値(Numeric)型を使用する(Stringではなく) 可能であればString型を避ける String => 多くのメモリ消費、多くのディ

    Impala Cookbook (非公式)日本語版 (1) 物理設計とスキーマ設計
  • 1