LoRA のもう一つの大きなメリット、GPUメモリ共有しつつ別のタスク処理モデルへ即時に切り替える方法 - A Day in the Life
低ランク行列を追加することで、大元のモデルを維持しつつ少ないコストで学習できる LoRA(Low-Rank Adaptation of Large Language Models)。先日、日本語でも大規模パラメータモデル cyberagent/open-calm-7b や rinna/japanese-gpt-neox-3.6b 等々がリリースされたり、HuggingFaceからはtransformersでLoRAを簡単に実現できるライブラリ、peft がリリースされたことで、試したことがある方も多いと思います。 ただ、LoRAのメリットについて主に学習の話が殆どで、もう一つの大きなメリットであるLLMのベースモデルのメモリを共有しつつ、複数のタスクをこなす方法の紹介は見かけたことがなかったので、それをpeftで行う方法についてのお話です。 なお、LoRAとは何か？というお話は、輪講資料
学習が何で律速してるか、把握してますか？ - arutema47's blog
(最新SSD IOはPCIe x4でした。ご指摘ありがとうございます。） はじめに どの処理で律速しているか調べる 各処理の速度改善方法 データ読み込み速度の改善 データ前処理速度の改善 GPU処理速度の改善 コンピューティングについての他記事 はじめに Kaggle Advent Calendar 2022 8日目です。 突然ですが、あなたはDNN学習時にどの処理で学習速度が律速しているか把握してますか？ DNN学習には図に示すように大きく3つの要素があります： （SSDからの）データ読み込み （CPUによる）データ前処理 （GPUによる）DNN計算 学習時のデータの流れとしては SSDからデータが読み込まれ、CPUに送られる(SATA or PCIe) CPUにてaugmentationや正規化などの前処理が行われ、GPUにデータが送られる(PCIe x16) GPUにてDNNの計算・
CUDA Toolkit 12.1 Downloads
Get the latest feature updates to NVIDIA's proprietary compute stack.
NVIDIA Docker って今どうなってるの？ (20.09 版)
※ この記事は以前私が Qiita に書いたものを、現状に合わせて更新したものです。(内容、結構変わりました) ※ 2021/01/08 CUDA Toolkit 11.2 のリリースに伴い、「NVIDIA ドライバのインストール」節を更新しました。 ※ 2020/09/24 CUDA Toolkit 11.1 のリリースに伴い、「NVIDIA ドライバのインストール」節を更新しました。 エヌビディアの佐々木です。 この記事では、Docker 等のコンテナで GPU を利用するための「NVIDIA Docker」の現状を紹介します。 「Docker で GPU を使うためにあちこち調べてみたけれど、nvidia-docker コマンドを使えばよいとか、--rutime=nvidiaオプションが必要とか、はたまた Docker が標準で GPU をサポートしたとか、色々な情報があってよくわか
【連載】Kepler GPUアーキテクチャとプログラム最適化
NVIDIAの「GK110(Kepler)」GPUを使う「Tesla K20/K20x」と「GeForce Titan」は、現状では最強の科学技術計算能力を誇っており、K20xは2012年11月のTop500で1位を獲得したオークリッジ国立研究所のTitanスパコンにも採用されている。GPUは高い浮動小数点演算能力を持っているが、単に、浮動小数点演算器の数を増やして従来のCPUを相似形で拡大したものではなく、かなり異なった作り(アーキテクチャ)となっている。そのため、GPUの高い演算能力を引き出すためには、CPUのプログラムとは異なる注意が必要である。そこで本連載では、Kepler GPUを例にとり、そのアーキテクチャとCUDAプログラムの最適化のポイントを見ていきたいと思う。
GPUを用いたSSLリバースプロキシの実装について - ゆううきブログ
近年，汎用計算の高速化のためのアクセラレータとして注目されているGPUを，ネットワーク処理に適用する一環として，サーバサイドのSSL処理に注目した論文を読んだので，内容を軽く紹介します． SSLShader - GPU-accelerated SSL Proxy SSLShader SSLShader: Cheap SSL acceleration with commodity processors Proceedings of the 8th USENIX conference on Networked systems design and implementation 2011 なお，評価に使われた実装の一部のソースコードが公開されています． http://shader.kaist.edu/sslshader/libgpucrypto/ 紹介 背景 SSL(Secure Socket
iOSなどでアニメーションさせるとチラつく - console.lealog();
いったい何度同じ過ちを繰り返せば気が済むんだという感じになったのでメモ。 スマートフォンで要素の拡大・縮小やら移動やらするときに気をつけたいのは以下。 GPUアクセラレータが効く方法を選ぶ アニメーションさせる要素数を厳選する Defferdなど、時と場合によっては擬似的に遅らせたりする ・・・でもメモしたいのはもっと手前の凡ミス。 2次元方向の移動だとしても ダメな例 .moveX { -webkit-transform: translateX(20px); } .moveY { -webkit-transform: translateY(20px); } 良い例 .moveX { -webkit-transform: translate3d(20px, 0, 0); } .moveY { -webkit-transform: translate3d(0, 20px, 0); } 3dで
最新AMD-ATI Radeonの選び方 【桜PC情報】
概要 グラフィックカードRadeonシリーズの最新情報をまとめています。 AMD APP（旧ATI Stream）は業界標準のOpenCLに対応しています。NVIDIA CUDAのようにAMD APPに対応した動画編集・変換ソフトでCPUに代わる高速変換が可能です。CUDAは動画変換以外でもPhotoshop等一般アプリケーションでも幅広く活用されていますが、AMD APPは動画以外では普及していません。2016年現在はGPUによる高速化機能はOpenCL対応が進んでおり、Radeonでも問題ありません。 NVIDIA GeForceとAMD Radeonはどちらが良いのか？ケースバイケースです。不具合や相性などの問題は、ドライバのバージョンなどの状況によります。 最新nVIDIA GeForce情報 性能ランク表 性能 Radeon DX10.1対応 Radeon DX11対応 Mobi
無線LANのWPA/WPA2-PSKをGPUで超高速解析してパスワードを見つけるフリーのオープンソースソフト「Pyrit」
ATI Stream テクノロジー/Nvidia CUDA/OpenCLを駆使し、WPA/WPA2-PSKを突破するために必要となる巨大なデータベースを事前に作成することによって極めて高速にパスワードを解析できるのがフリーのオープンソースソフト「Pyrit」です。厳密なライセンスはGNU GPL v3となっています。 pyrit - WPA/WPA2-PSK and a world of affordable many-core platforms - Google Project Hosting http://code.google.com/p/pyrit/ 事前に巨大なデータベースを作成しておくため、ハードディスクの容量は割と必要となりますが、それとトレードオフで解析速度を高速化しようというアプローチになっており、FreeBSD・MacOS X・Linux上で動作し、MinGWを使うこ
Course Websites
Giving Help ensure that Illinois continues to set a global standard for engineering research and education. Make a Gift Giving
高校生のための NVIDIA CUDA サマーキャンプ 2012 8/30 thu. | NVIDIA
CUDA Zone CUDA® is a parallel computing platform and programming model developed by NVIDIA for general computing on graphical processing units (GPUs). With CUDA, developers are able to dramatically speed up computing applications by harnessing the power of GPUs. In GPU-accelerated applications, the sequential part of the workload runs on the CPU – which is optimized for single-threaded performance
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rent GPUs | Vast.ai
なぜGPUはディープラーニングに向いているか
golubev.com
CUDA実験室/プログラミングガイドのメモ - Satoshi OHSHIMA's web site
【特集】徹底解説! GeForce 8800 - DirectX 10世代のアーキテクチャとは (4) 統合型シェーダアーキテクチャ・その1 | パソコン | マイコミジャーナル