FPGAによる大規模データ処理の高速化
1. © Hitachi, Ltd. 2018. All rights reserved. 株式会社 日立製作所 研究開発グループ デジタルテクノロジーイノベーションセンタ 藤本 和久 2018/2/17 ＦＰＧＡによる大規模データ処理の高速化 2. © Hitachi, Ltd. 2018. All rights reserved. 本日の内容 １. ⼤規模データ処理の動向と課題 ２. FPGAによるHadoopのデータ処理エンジンの⾼速化 ３. FPGAによるアニーリングマシンの実現 4. © Hitachi, Ltd. 2018. All rights reserved. １-１ 大規模データ処理のアプリ群 BigData解析やAI/MLは、OSSを組合わせて分散並列処理システムで実⾏ データソース Webデータ 売上情報など 構造化データ （業務RDB） センサデータ システムログ
CSV に SQL でお手軽に問い合わせたい - 2016 年、冬（JOIN なども交えつつ）
お手元の CSV ファイルを手軽に加工しようと思った場合、EXCEL 等のアプリケーションに取り込んで利用するのが一般的かと思います。 まぁ、ほとんどの場合はそれで十分なのですが。 「65,536 行までしか扱えない古いバージョンを考慮しなくてはいけない環境なので、そもそも EXCEL に取り込む為のデータを CSV から必要な分だけ抽出したい」 ですとか、 「こっちとあっちの CSV を結合した結果を加工して出力したい」 ですとか、 「てゆうか、 直接 CSV に SQL で問い合わせたいんじゃー」 みたいな欲求が、この記事を開いたような方には稀に良くあるのだと思います。 そこで、今回は CSV に SQL で問い合わせる方法について、JOIN 等も考慮しつつ、なるべく色々なケースを見た上で、最後に簡単な比較をしてみようと思います。 また、GUI アプリケーションを使った方法も、少しです
スケールアウト・インメモリ分析の標準フォーマットを目指す Apache Arrow と Value Vectors - Tokyo Apache Drill Meetup 2016/03/22
スケールアウト・インメモリ分析の標準フォーマットを目指す Apache Arrow と Value Vectors - Tokyo Apache Drill Meetup 2016/03/22
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
スキーマフリー SQL エンジン Apache Drill の概要、利用事例、ロードマップを紹介。オープンデータの分析を例に Drill の使い方を説明します。2015年9月15日に開催されたTokyo Apache Drill Meetupでの講演資料です。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Drill超簡単チューニング
Apache Drill で JSON 形式の オープンデータを分析してみる - db tech showcase Tokyo 2015 2015/06/11
