GPT-3などの大規模言語モデルを処理するには高い計算量とメモリが必要なため、通常は複数のハイエンドなAIアクセラレーターが求められます。この処理を、メモリ16GBのNVIDIA Tesla T4やメモリ24GBのNVIDIA GeForce RTX 3090など、メモリ容量が限られたGPU単体でも実行するための生成エンジン「FlexGen」が公開されました。 GitHub - Ying1123/FlexGen: Running large language models like OPT-175B/GPT-3 on a single GPU. Up to 100x faster than other offloading systems. https://github.com/Ying1123/FlexGen#readme FlexGenは大規模言語モデルの推論リソース要件を単一のGPU
NVIDIAは9月19日よりカンファレンスイベント「GTC 2022」を開催していた。新型GPUであるGeForce RTX 4090/4080がお披露目されたほか、同社CEOによる基調講演や質疑応答なども実施。そのなかで、「もうGPUの価格低下傾向はおわった」との、ユーザーにとって悲しい見通しが語られたようだ。海外メディアDigital Trendsなどが伝えている。 NVIDIAはGeForceシリーズのGPU(およびグラフィックボード)などでお馴染み の半導体メーカーだ。同社が開催したGTC 2022では、新アーキテクチャAda Lovelace採用GPU「GeForce RTX 4090」および「GeForce RTX 4080」が発表。RTX 4090が10月より、RTX 4080が11月より発売予定と明かされた(関連記事)。スペックや新技術などが注目を集めるなか、とりわけユーザ
目次 >> CUDA >> インストール(Windows編) CUDA - インストール(Windows編) NVIDIAのGPGPU開発環境であるCUDA(Compute unified device architecture) 6.0 をインストールして、使ってみる。 使用機材は、Windows7 64bit向けが GeForce GTX 680 4GB Core i7-4770K RAM 32GB マザーボードASUS ASUS P8Z77-V DELUXE CUDAのインストール CUDAのインストールは、初期の頃に比べてだいぶ楽になっており、ここから、自らの環境に合ったインストーラをダウンロードしてくる。 まず、Visual C++ 2012をインストールしておく。 CUDA コンパイラ一式のインストール まず、https://developer.nvidia.com/cuda-
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く