NVIDIA RAPIDSを使って前処理・機械学習・位置情報分析を高速化しよう - Qiita
NVIDIA RAPIDSを使ったデータ分析と位置情報分析の入門 皆さん、こんにちは、こんばんは。石黒慎と申します。 この記事では、NVIDIA RAPIDSを使ったデータ分析について、ご紹介させていただきます。 RAPIDSを使うと、データサイエンスに必要な前処理〜機械学習までを簡単に高速化できます。 本記事ではRAPIDSの導入方法・利用方法から、 RAPIDSを用いた位置情報データ分析までをご紹介します。 本記事を参考に、RAPIDSを用いた様々な分析にトライして頂けると幸いです。 本記事の目標: 読者にお持ち帰りいただきたいもの RAPIDSとはなにか？ RAPIDSの導入方法 RAPIDSの各種機能のご紹介 RAPIDSを使ったデータ分析入門 （タクシーデータに対して、dask-XGBoostを用いて機械学習） cuSpatialを使った位置情報データ分析 RAPIDSとはなにか
Spark RAPIDSを試したら凄かった - なぜか数学者にはワイン好きが多い
NVIDIA Spark RAPIDSを試してみた Apache Sparkファンとしては，Sparkの色々な活用方法を探しています．特に私はIBM PowerでSparkを使っているので，機械学習のためのライブラリを使おうとすると，色々と苦労しています．幸い，IBM Powerは，ギリギリでNVIDIAのサポートを受けています．例えば，CUDAが使えます． ならばSparkでCUDAを使ってGPUを活用したい！ と思いますよね． そこでSpark RAPIDS． GitHub - NVIDIA/spark-rapids: Spark RAPIDS plugin - accelerate Apache Spark with GPUs RAPIDSは様々なプロジェクトのトップです． Open GPU Data Science | RAPIDS 今回は，RAPIDSの中のSpark RAPID
PL/CUDAによるIn-database Analytics ～創薬におけるワークロードを例として～ - KaiGaiの俺メモ
やや場違い感が否めないが、今週、ＣＢＩ学会（計算情報化学生物学会）の2016年大会でポスター発表を行ってきた。 発表タイトルは『Efficient Similarity Search Using Multiple Reference Molecules on PG-Strom architecture』というもので、要は、創薬分野で新薬の候補となる化合物を類似度サーチする際に、PG-Stromを用いて高速かつIn-Databaseで行ってしまおうという試みである。 前提となる利用シーンは、例えば次のようなシチュエーションである。 ある疾患には特定のたんぱく質が作用する事が分かっており、また、世界各地で発表される研究論文の中には『このたんぱく質には〇〇〇という化学物質が活性を持っている』というような事が記載されている。こういった組合せは別に１：１という訳ではなく、別の研究論文には化合物△△△
gstore_fdw: GPUメモリをSQLで読み書き、そして…。 - KaiGaiの俺メモ
昨年、PGconf.ASIAで発表したPL/CUDAによる創薬ワークロードの高速化実験のテーマであるが、 kaigai.hatenablog.com 実測したベンチマークを見ると、奇妙な傾向が見てとれる。 このワークロードにおける計算量は「Qの行数×Dの行数」であるので、Dの行数が同じ1000万行であるならば、Qの行数が1000のケース（22.6s）に比べ、Qの行数が10のケース（13.4s）の実行時間はもっと顕著に短時間でなければならない。 計算量が1/100なのに、実行時間は半分弱にしかなっていない。 実はこれは、化合物同志の類似度を計算するための時間だけでなく、PL/CUDA関数に与える引数をセットアップするための時間に12秒程度を要しており、アムダールの法則を引用するまでもなく、類似度の計算を高速化するだけでは処理速度はこれ以上伸びないのである。 PL/CUDA関数の引数として行列
カスタムロジックをWHERE句で使う - KaiGaiの俺メモ
しばらくSSD-to-GPUダイレクトSQL実行の開発にどっぷり時間を突っ込んでいたので、久々にPL/CUDAネタ。 この辺のネタや、 kaigai.hatenablog.com この辺のネタで kaigai.hatenablog.com 紹介したように、PG-Stromはユーザ定義関数をCUDA Cで記述するための機能（PL/CUDA）を持っており、これを使えば、データベースから読み出したデータをGPUに流し込み、GPU上でカスタムのロジックを実行した後、結果をまたSQLの世界へ戻すという事ができる。 この仕組みはPostgreSQLの手続き言語ハンドラの機能を用いて実装されており、ユーザ定義のPL/CUDA関数が呼び出される毎に、手続き言語ハンドラが以下の処理を行う。 ユーザ記述のCUDA Cコードブロックをテンプレートに埋め込んで、ビルド可能なソースコードを作成。 NVRTC(NVI
GpuJoin + GpuPreAgg combined kernel - KaiGaiの俺メモ
以下のクエリは、t0とt1の2つのテーブルをJOINし、その結果をGROUP BYして出力するものである。 しかし、EXPLAIN ANALYZEの出力には奇妙な点がある。 postgres=# explain analyze select cat,count(*),avg(ax) from t0 natural join t1 group by cat; QUERY PLAN -------------------------------------------------------------------------------- GroupAggregate (cost=955519.94..955545.74 rows=26 width=20) (actual time=5964.955..5964.972 rows=26 loops=1) Group Key: t0.cat -
未踏アドバンスト事業：2017年度採択プロジェクト概要（海外PJ） | デジタル人材の育成 | IPA 独立行政法人 情報処理推進機構
未踏アドバンスト事業：2017年度採択プロジェクト概要（海外PJ） 1．担当プロジェクトマネージャー 衛藤 バタラ（East Ventures 代表パートナー） 2. 採択者氏名 海外 浩平（ヘテロDB株式会社 代表取締役社長） 柏木 岳彦（ヘテロDB株式会社 取締役副社長） 遠藤 克浩（慶應義塾大学 理工学部機械工学科） 3．採択金額 6,800,000円 4．テーマ名 ヘテロジニアスなIn-Databaseデータ解析・機械学習基盤 5．関連Webサイト ヘテロDB社 http://heterodb.com/ Github https://github.com/heterodb 6．申請テーマ概要 本プロジェクトでは、GPUの並列計算能力を活用して解析系SQLの高速化を実現するPostgreSQL向け拡張モジュール（PG-Strom）に、次の機能を実装する。 SSD-to-GPUダイレク
進捗）SSD-to-GPU ダイレクトSQL実行機能 - KaiGaiの俺メモ
ここ暫くブログでまとめていなかった、SSD-to-GPUダイレクトSQL実行機能の進捗について。 この機能をかいつまんで言うと、NVMe-SSDに格納されているPostgreSQLのデータブロックをGPU RAMに直接転送し、そこでSQLのWHERE句/JOIN/GROUP BYを実行することで見かけ上のI/O量を削減するという代物である。 NVIDIAのTesla/Quadro GPUが対応するGPUDirect RDMA機能を使い、SSD<=>GPU間のデータ転送を仲介するLinux kernel moduleを使えば、CPU/RAMにデータをロードする前にGPU上での処理を行うことができる。 しばらく前からScan系の処理には対応していたが、JOIN/GROUP BYへの対応を加え、さらにPostgreSQL v9.6のCPU並列にも追従したということで、簡単なベンチマークなら取れる
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20211112_jpugcon_gpu_and_arrow