OLとPC自作の壁 - 藻ログ
この記事は 壁 Advent Calendar 2017 - Adventar 16日目の記事です． OLなら自宅に安くGPUサーバ組みたい... 組みたくないですか？本記事では，初めての自作で感じた様々な壁を紹介したいと思います. TL;DR このサイトが便利（完） 基礎知識の壁 OLがよく読む雑誌といえば，ドスブイですよね. 2017/05月号は初心者向けに 各パーツの選び方 組み立ての基本 用途ごとの構成例 などがまとめられていて，結構参考になりました. prime reading の読み放題対象（！）なので一通り読んでみるといいかもしれません. DOS/V POWER REPORT (ドスブイパワーレポート) 2017年5月号[雑誌] 出版社/メーカー: インプレス発売日: 2017/03/29メディア: Kindle版この商品を含むブログを見る 買い物の壁 PCパーツってどこで買
GPUでディープラーニングやるならAWSよりFloydHub - Qiita
UdacityのDeep Learning Nanodegree Foundation のコースでFloydHubという便利なサービスが紹介されていました。ディープラーニングのHerokuだそうです。 GPUが使えるプランも月額14ドルからなので、手軽にGPUでディープラーニングを始めることができます。 TensorFlowとKerasがデフォルトですが、他にもPyTorchやChainerなどメジャーなフレームワークはだいたい使えるようになっています。 2017/10/18 追記 この記事を書いた直後に、KaggleのKernelについての記事が投稿されています。Kaggleのデータセットに限って言えば、Kernelを使う方が簡単そうです。 パワーアップしたKernelでKaggleに飛び込もう - Qiita FloydHubのいいところ 起動が簡単 floyd-cliというコマンドラ
『GPU を支える技術』読了
『GPU を支える技術 ― 超並列ハードウェアの快進撃 [技術基礎]』を読み終わった。 感想 GPU 周辺の知識を一通り学べる良書。とても勉強になった。GPU の仕組みやプログラミング、グラフィックスに関する前提知識は一切必要ないと思うけど、CPU に関しては学部生のコンピュータアーキテクチャくらいの知識はないと読むのがしんどいと思う。まえがきにもそう書いてある。 本書では、汎用 CPU の基本的な処理方法の概念はおおよそ理解があるという想定で解説を行っています。 ハードウェア主眼の本だと思って読み始めたけど、3D グラフィックス周りの基礎知識もいっぱい書いてあって、それらも一緒に学べて良かった (Graphics Processing Unit の本だから書いてあって当たり前？) ハードウェアの詳しい説明の後に CUDA や OpenCL におけるサンプルが提示されているため、システム構
進捗）SSD-to-GPU ダイレクトSQL実行機能 - KaiGaiの俺メモ
ここ暫くブログでまとめていなかった、SSD-to-GPUダイレクトSQL実行機能の進捗について。 この機能をかいつまんで言うと、NVMe-SSDに格納されているPostgreSQLのデータブロックをGPU RAMに直接転送し、そこでSQLのWHERE句/JOIN/GROUP BYを実行することで見かけ上のI/O量を削減するという代物である。 NVIDIAのTesla/Quadro GPUが対応するGPUDirect RDMA機能を使い、SSD<=>GPU間のデータ転送を仲介するLinux kernel moduleを使えば、CPU/RAMにデータをロードする前にGPU上での処理を行うことができる。 しばらく前からScan系の処理には対応していたが、JOIN/GROUP BYへの対応を加え、さらにPostgreSQL v9.6のCPU並列にも追従したということで、簡単なベンチマークなら取れる
デブサミ2017「DeNAの機械学習基盤と分析基盤」講演メモ #devsumi - 元RX-7乗りの適当な日々
sonots先生の話を聞きに行ってきたので、そのメモを残しておきます。 瀬尾 直利 氏 DeNA Co., Ltd. AIシステム部 リードエンジニア DeNAの機械学習基盤 ディープラーニングの基盤 => GPU基盤 という認識 GPUすごくて、CPU使って30日のところ、GPUを使うと4日くらいのオーダー GPUの特徴 並列処理が得意 CPUだと24coreとかのオーダー GPUでは3000〜4000core 分岐処理は苦手 行列演算に向いている GPU製品 NVIDIA Tesla HPC向けにGPUシリーズ NVIDIA GeForce GRID クラウドゲーミング向け AMD FirePro NVIDIA Tesla API CUDA OpenCL DirectCompute CUDAのアーキテクチャ CPU(ホスト)からGPU(デバイス)にデータを転送 GPUで処理 GPUから
PFNが語る、GPUインフラ調達の考え方とは
2016年度中に5ペタFLOPS（1秒当たりの浮動小数点演算性能）のGPUインフラを使えるようにする――。AI（人工知能）分野で国内トップ級の技術力を持つスタートアップ企業、Preferred Networks（PFN）が社内で掲げる目標である。 ディープラーニング（多層ニューラルネットを使った機械学習）は、画像認識からロボティクス、自然言語処理まで適用が進み、大きな成果を挙げている。 そのディープラーニングの学習を担う要となるITインフラが、GPU（グラフィックス・プロセッシング・ユニット）搭載サーバーである。 特に米グーグルは、囲碁でプロ棋士を破った「AlphaGo」から、高い精度でテキストを翻訳する「Gogole Translate」まで、ニューラルネットの学習や推論に大量のGPUインフラを活用している。例えばAlphaGoの場合、2015年10月に欧州のプロ棋士と勝負した際は、12
動いた！SSD-to-GPU Direct DMA - KaiGaiの俺メモ
ここしばらく、NVMe-SSDからGPUへとPeer-to-Peer DMAを行うためのLinux kernelドライバを書いている。 これは昨年末のPGconf.JPのLTでアイデアを先に発表したもので、従来は、例えばテーブルスキャンに際して90%の行がフィルタリングされる場合であっても、データをストレージからRAMにロードしていた。しかし、どうせフィルタリングするのであれば、バッファのために利用したRAMのうち90%は無駄である。 基本的なアイデアは、ストレージからのデータロードに際して、CPU側のRAMではなく、GPU側のRAMへロードし、そこで数百～数千コアの計算能力を使って行のフィルタリングや、あるいは、テーブル同士のJOINや集約演算を行ってしまう。そして、これらの前処理が終わった段階でCPU側へデータを書き戻してやれば、CPUから見ると『ストレージからデータを読出したら、既に
Amazonがディープラーニングのライブラリ「DSSTNE」をオープンソースで公開。TensorFlowよりも約2倍高速と主張
Amazon.comはディープラーニングを実現するライブラリ「Amazon DSSTNE」（Deep Scalable Sparse Tensor Network Engineの頭文字、読みはデスティニー）をオープンソースで公開しました。 GitHub - amznlabs/amazon-dsstne: Deep Scalable Sparse Tensor Network Engine (DSSTNE) is an Amazon developed library for building Deep Learning (DL) machine learning (ML) models DSSTNEは本番環境のワークロードに対応したライブラリで、以下の特長があります。 マルチGPUスケール 学習と予測のどちらも、複数のGPUにスケールアウトし、レイヤごとにモデル並列化の方法で（model-
今どきCPUだけで大丈夫？ビッグデータや人工知能でGPU/FPGAを使う前に知っておきたい“ハード屋”と“ソフト屋”の違い
関連記事 「Big Sur」はニューラルネットワークシステムのためにフェイスブックが設計したハードウエア 米フェイスブックは「ニューラルネットワークシステム向け」というハードウエアアーキテクチャ「Big Sur」をオープンソースで公開した。 AWS／Azure上でTensorFlow、CNTKを――機械学習環境のマネージドサービスが登場 クラスキャットが、機械学習環境のマネージドサービス「ClassCat Deep Learning Service v2」の提供を発表した。Amazon Web ServicesとMicrosoft Azureに対応する。 ザイリンクス、OpenCL、C／C++でFPGAアクセラレーションを行う開発環境最新版のリリースを発表 ザイリンクスは5月26日（米国時間）、FPGAを使用したアクセラレーター開発環境の最新版「SDAccel開発環境2015.1」のリリー
SSD-to-GPU Peer-to-Peer DMAとバッファ管理（その１） - KaiGaiの俺メモ
昨年の暮れ、JPUGカンファレンスのLTで『SQL+GPU+SSD=∞』と題したスピーチを行った。 SQL+GPU+SSD=∞ (Japanese) from Kohei KaiGai www.slideshare.net これはかいつまんで言えば、ストレージからデータをCPU+RAMへとロードするより前に一旦GPUへとデータを転送し、そこで不要なデータを削ぎ落してからCPU+RAMへと渡してやる事で、CPU負荷の軽減とRAMの有効活用が計れるというアイデアである。 実装としては、PCI-Eデバイス間でのP2P DMA機能を利用する事によってNVMe SSDの特定ブロックからGPU RAM上の特定の領域へDMAを実行するというものなので、ここは別に新しくも何ともない。 以下の図は、従来の仕組みにおけるデータの流れを示したもの。 SSDから読み出されたデータは先ずCPU+RAMにバッファされ
PostgreSQLのデータ構造はなぜ並列プロセッサ向きではないか。 - KaiGaiの俺メモ
今年もPostgreSQL Advent Calendar 2015に参加しています。 前からちょくちょく『PG-StromってXeon Phiだとどーなんですか？』的な質問を受ける事があんですが、データ構造から見て難しいので『勘弁！』という理由を紹介してみたいと思います。 PostgreSQLのレコードは、内部的には HeapTupleHeader 構造体を先頭とする可変長データとして表現されています。 struct HeapTupleHeaderData { union { HeapTupleFields t_heap; /* MVCC関連情報 */ DatumTupleFields t_datum; /* xmin, xmaxとか... */ } t_choice; /* current TID of this or newer tuple */ ItemPointerData t_
NVIDIA cuDNN | NVIDIA Developer
Accelerated Learning cuDNN provides kernels, targeting Tensor Cores, to deliver best available performance on compute-bound operations. It offers heuristics for choosing the right kernel for a given problem size. Expressive Op Graph API The user defines computations as a graph of operations on tensors. The cuDNN library has both a direct C API and an open-source C++ frontend for convenience. Most
How to Renewing Damaged GPUs by oven. 「これから毎日GPUを焼こうぜ？」
このスライドでは壊れたGPUをオーブンで直すやり方について紹介しています． 壊れたGPUに悩んでいる皆さん，元気を出して下さい． 壊れたGPUはオーブンで治ることがあります． I have an introduction to how the fix in an oven GPU broken in this slide. Everyone suffering from GPU to broken, please Cheer up. It may be cured in the oven GPU broken. keywords[GPU, Repair, how to, oven]Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
#1 AI カンファレンス - GPU テクノロジ カンファレンス - NVIDIA
GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]![GPUとSSDがPostgreSQLを加速する～クエリ処理スループット10GB/sへの挑戦～ [DB Tech Showcase Tokyo/2017]](https://cdn-ak-scissors.b.st-hatena.com/image/square/255658386c37b7f0c6de69ed4efa7023f74b1176/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20170906dbtsgpussdacceleratespostgresqljp-170906073226-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
DeNA TechCon 2017 と Developers Summit 2017 でDeNAの機械学習基盤と分析基盤の講演をしました - sonots:blog
turbo.js - Easy GPGPU
More modern gpu
GitHub - preames/gpu-garbage-collection: Snapshot of code used for the ISMM 2012 paper "GPUs as an Opportunity for Offloading Garbage Collection"
Gyazo
