DirectMLで試す、非NVIDIA系GPUで機械学習 - Qiita
はじめに 株式会社ピーアールオー（あったらいいな！を作ります） Advent Calendar 2022の3日目になります。 前日は 私の「Wingetで簡単！開発PCセットアップ（Windows）」でした。 MLをやってみたいけど MLを気軽に試してみたいけど、最大の障壁となるのはやはり高価なGPUが必要という点かと思います。PCゲームをやる方ならまだしも、そうでない人間には数万～数十万もするdGPU/eGPUを用意することは簡単ではありません。特にこの分野ではcudaコアを有するNVIDIAのGPUが一強という感じですが、まともに使えそうなボードをそろえようとするとやはり十万程度の出費が必要になります（この辺は諸説あるでしょうが・・・）。 もちろん、CPUのみで挑むというやり方もありますが、あまりに時間がかかるのはやはり敬遠しがちになります。また、クラウドGPUみたいなものもあるので、
70Bモデルのホスティング
こんにちは、@ken11です。 今日はSpiral.AI株式会社のエンジニアブログとして、70BのLLMをホスティングした話をご紹介したいと思います。 70B 春先に「とりあえず6B、話はそれからだ」と言った人がいたような気もしますが、たしかに最近のLLMはパラメータ数が7B/13B/70Bというのが多いのではないでしょうか。 そうですね、Llama2をファインチューニングしたものも多いので、余計にそういったパラメータ数を見かけることが多くなった気がします。 さて、みんな大好きOpenAIのGPT-3.5が175BだとかGPT-4はおそらく500B~だとかいろいろ言われており、Llama2最大サイズの70Bでも遠く及ばないわけですが、それでも70Bは市場に出回っている(誰でも使える)モデルの大きさとしては現状最大級となっているわけです。 とはいえ実際に使おうと思うと、7Bですら結構な推論コ
ABCIの大規模言語モデル分散学習ハッカソンを振り返る
７月6日〜14日の9日間、ABCIの主催で 第1回大規模言語モデル分散学習ハッカソン が開催されました。自分はいいだしっぺ 兼 チューターとして参加したのですが、今回のイベントは個人的な学びも多かったし、なにより楽しかったので、忘れないうちに振り返っておこうと思います。 いいだしっぺというのは、3月に上記の tweet をしたら NVIDIA の @sfuruyaz さんが拾って諸々進めてくれた、という話です。自分はイベント内容の案をだしたり、技術検証やサンプルプログラムを作成したりしました。 イベント概要 イベント概要は以下の通りです 期間: 2023/07/06 - 2023/07/14 （9日間） 場所: オンライン（初日・最終日はオフラインとのハイブリッド開催） 参加数: 20チーム 提供リソース: Vノード（1000 ABCIポイント） サポート: チューター（言語モデルや機械学
MLC-LLM で Vulkan など Graphics API + C/C++ で LLM が流行ってほしいメモ
いきなり彗星のごとく(?)現れた MLC-LLM Vicuna-7b が iPhone でオンデバイスでうごく... いいね! とりま で cli サンプル試せます. 3090(160W powerlimit) での結果 cli サンプルでは word 単位での streamling ではないため, tokens/sec 推測しずらいですが, RWKV ほど爆速というわけではないものの, そこそこ実用的な速度にはできそう? あと日本語はダメダメでした. Tokenizer 書き直さないとダメかも? GPU メモリ消費は 3.5 GB くらいでした. しくみ Apache TVM をベースにしています. TVM, なんかあんまり流行って無い気もしていましたが, 着実に発展していたのですね. (MLIR はどうなるじゃろか... https://qiita.com/syoyo/items/6d
実験用 GPU 環境をどう準備したらいい？（非情報系が機械学習を使う研究をしたいとき） - 木曜不足
深層学習が著しく発展し、今まで人間にしかできないと思われていたことができるようになってきました。そのおかげで、今まで機械学習と縁が薄かった分野でも、機械学習を使った研究がしたいという声が上がるようになっています。 前々回は、それを裏付けるように非情報系の学生さんが機械学習を使った研究をしたいという応募がサイボウズ・ラボユースに増えているという話、前回はいままで機械学習や深層学習に縁のなかった人が何から勉強したらいいかという話を書きました。 今回はその続き、研究に必要な実験用 PC 環境をどのように準備したらいいかというお話です。 深層学習の実験をするには、十分な性能の GPU を積んだ PC が必要です。 今どきの機械学習関連の研究室では、院生有志がメンテナンスしている GPU のクラスタがあって、それを使わせてもらえることが期待できます。自分用の PC を手配する場合も、研究テーマに適し
GPT-neoxの学習用にマルチノード並列学習環境を整えた with DeepSpeed - ABEJA Tech Blog
1. はじめに 2. 並列学習環境を調べる 並列学習方法を調べる ネットワーク、コンピューティング周りを調べる 3. インフラ環境を構築する コンパクトプレースメントポリシーの作成 Compute Engine を起動する (Fast Socket と gVNIC を利用する) 4. まずはシングルノードで動かす 5. 次はマルチ環境で動かす w/ Docker リポジトリをクローン ssh/config を作成 authorized_keys を作成 hostfile を作成 Docker を build 6. つまずいたポイント 学習途中に出力したファイルを再利用するのでNFSが必要に NFSのリージョンを間違えて速度が出なかった 大量のGPUの調達はリソースを確保できないかもしれないので要サポート確認 コンパクトプレースメントポリシーは邪魔になりそうだった 7. 結果 8. まとめ
DeepStream プラグイン入門1 〜サンプルプラグインを実行してみる〜 - 技ラボ
DeepStream をきちんと使えるようになりたい！！ ということで、オリジナルのプラグインを作ってストリーム処理に組み込むことを最終目標に DeepStream の勉強をしてみました。 まず今回は手始めに配布されているサンプルのプラグインを実行し動作確認、さらにそこから『何もしない』サンプルプラグインを作ってみます。 DeepStreamとは？ NVIDIA DeepStream SDK NVIDIA が提供する IVA (Intelligent Video Analytics) 向けのライブラリ。GPU を使って高速に映像の入出力、物体検出等を行うことができます。 マルチメディアフレームワーク「GStreamer」がベースとなっていて、GStreamer のプラグインと合わせて使用することも可能です。 環境 本シリーズ記事では、以下の環境で動作確認を行ってます。 Jetson Nan
オセロを速く解く話/solveothello
京大マイコンクラブの春合宿で、オセロを速く「解く」ことについて特化して話したスライドです。
WebGLで暴力的な並列ソートに挑戦する
日照時間足りてますか？やまだです。 KLab Advent Calender 11日目の記事です。 最近WebGLで実装できるちょっと強そうなソートアルゴリズムを知ったので書いてみました。 WebGLよくわかんないやーって人も雰囲気だけでも伝われば幸いです。 強さの秘訣 WebGLは3Dを描くAPIとして著名ですが、2Dはもちろん、工夫次第で汎用計算（GPGPU）にも応用できます。 WebGLでの演算は通常のJavaScript演算とは違い、GPUを使った並列な浮動小数点演算を可能とします。 そして、ソートアルゴリズムの中には計算量こそ地味なものの、並列処理が可能なものがあります。 そのうちの一つがバイトニックソートです。 GPUを使い、物量で計算する暴力的な並列ソートをやっていきましょう。 バイトニックソートとは 前述のとおり、並列処理が可能なソートアルゴリズムです。 配列を小さい領域に
趣味のTensorFlowのハードウェアとGPUクラウド事情 - Qiita
目次 自分がやっていること、カジュアルディープラーニング TensorFlowで遊ぶために必要なハードウェア 自前PC編 クラウドサービス編 自分がやっていること、カジュアルディープラーニング もともとはカーネル主成分分析系統の理論で顔画像認識とかやったり諸々のコンピュータビジョンのあれこれでお仕事してたりしてました。最近はコンピュータビジョンのお仕事からは離れてフツーの開発をしています。 趣味でプログラミングもしていて今年はTensorFlowを始めました。TensorFlow将棋ソフト開発日誌 目次 という形で開発の経過を書いています。最近は自宅のPCの能力が不足気味（GTX 1080）でちょっと開発速度が低下気味。年内中に1手指したいのだけれどどうなることやら。 こういうどう考えてもお金にならない完全に趣味なディープラーニングを自分は「カジュアルディープラーニング」と呼んでいます。デ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
