Hive , Presto , Drill のプッシュダウンの考察 - 沼津暮らし
最近は大きなデータを扱うクエリエンジンがたくさん増えてきました。 一昔前はデータをフルスキャンして処理するパターンが多かったのですが、やはりこの方法では処理コストが大きくなるのが課題となりました。 そこでデータの読み込みでの処理コストを削減するために最近ではデータベースのように必要なカラムだけを読み込んだり、不要な行・ページをスキップするプッシュダウンの機能を持ったビッグデータ向けのクエリエンジンが増えてきました。 今日は Hive , Presto , Drill のプッシュダウンについて見ていきたいと思います。 プッシュダウンの種類 テキストや行でデータを変換しているフォーマットの場合にはすべてのフィールドを全て読み込むことになります。 ORCやParquetなどのカラムナーフォーマットの場合には列毎にデータを保持しているため、特定のカラムや列での統計情報（MaxやMin）などを持って
FPGAによる大規模データ処理の高速化
1. © Hitachi, Ltd. 2018. All rights reserved. 株式会社 日立製作所 研究開発グループ デジタルテクノロジーイノベーションセンタ 藤本 和久 2018/2/17 ＦＰＧＡによる大規模データ処理の高速化 2. © Hitachi, Ltd. 2018. All rights reserved. 本日の内容 １. ⼤規模データ処理の動向と課題 ２. FPGAによるHadoopのデータ処理エンジンの⾼速化 ３. FPGAによるアニーリングマシンの実現 4. © Hitachi, Ltd. 2018. All rights reserved. １-１ 大規模データ処理のアプリ群 BigData解析やAI/MLは、OSSを組合わせて分散並列処理システムで実⾏ データソース Webデータ 売上情報など 構造化データ （業務RDB） センサデータ システムログ
Apache Drillの導入〜サンプル実行〜カスタマイズ(完全版) - Qiita
su java -version #>java version "1.6.0_33" #>OpenJDK Runtime Environment (IcedTea6 1.13.5) (rhel-1.13.5.1.el6_6-x86_64) #>OpenJDK 64-Bit Server VM (build 23.25-b01, mixed mode) yum -y install java-1.8.0-openjdk-devel.x86_64 sed -i -e 's/^export\ JAVA_HOME/#export\ JAVA_HOME/g' /etc/profile; sed -i -e '/^#export\ JAVA_HOME/a export\ JAVA_HOME=\/usr\/lib\/jvm\/java-1\.8\.0-openjdk-1\.8\.0\.25-3\.b17
CSV ファイルを Parquet ファイルに変換してクエリを高速化 - nagix
この記事は Apache Drill Advent Calendar 2015 の8日目の記事です。 Apache Drill では Apache Parquet という大規模データの分析に適したデータフォーマットを利用することができます。Row-oriented フォーマットにカテゴリ分けされる CSV、TSV といったテキストファイルや伝統的なリレーショナルデータベースのテーブルでは、データは行方向に沿って格納されますが、Column-oriented フォーマットにカテゴリ分けされる Parquet、ORC といった形式のデータは列方向に沿って格納されます。 データ分析用途には Column-oriented フォーマットが向いているとよく言われますが、データ分析では特定の列の値を集計したり、特定の列の条件を元にフィルタリングやジョインが行われることが多いため、列方向にデータが連続し
CSV に SQL でお手軽に問い合わせたい - 2016 年、冬（JOIN なども交えつつ）
お手元の CSV ファイルを手軽に加工しようと思った場合、EXCEL 等のアプリケーションに取り込んで利用するのが一般的かと思います。 まぁ、ほとんどの場合はそれで十分なのですが。 「65,536 行までしか扱えない古いバージョンを考慮しなくてはいけない環境なので、そもそも EXCEL に取り込む為のデータを CSV から必要な分だけ抽出したい」 ですとか、 「こっちとあっちの CSV を結合した結果を加工して出力したい」 ですとか、 「てゆうか、 直接 CSV に SQL で問い合わせたいんじゃー」 みたいな欲求が、この記事を開いたような方には稀に良くあるのだと思います。 そこで、今回は CSV に SQL で問い合わせる方法について、JOIN 等も考慮しつつ、なるべく色々なケースを見た上で、最後に簡単な比較をしてみようと思います。 また、GUI アプリケーションを使った方法も、少しです
スケールアウト・インメモリ分析の標準フォーマットを目指す Apache Arrow と Value Vectors - Tokyo Apache Drill Meetup 2016/03/22
スケールアウト・インメモリ分析の標準フォーマットを目指す Apache Arrow と Value Vectors - Tokyo Apache Drill Meetup 2016/03/22
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
スキーマフリー SQL エンジン Apache Drill の概要、利用事例、ロードマップを紹介。オープンデータの分析を例に Drill の使い方を説明します。2015年9月15日に開催されたTokyo Apache Drill Meetupでの講演資料です。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Install Apache Drill on Ubuntu 16.04 LTS Single Cloud Server
Drill超簡単チューニング
HPE Ezmeral: Uncut Blog | HPE Blogs, Discussions and Forums Community
Apache Drill で JSON 形式の オープンデータを分析してみる - db tech showcase Tokyo 2015 2015/06/11