NVIDIA、1パッケージに2ダイの新型GPU「Blackwell」。AI性能は学習4倍、推論30倍に
速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
MetaのザッカーバーグCEO、AGI開発宣言 「AIとメタバースは繋がっている」
米Metaのマーク・ザッカーバーグCEOは1月18日（現地時間）、Threadsへの投稿で、同社の長期的なビジョンを、「general intelligence」の構築と、そのオープンソース化により、誰もが恩恵を得られるようにすることだと語った。 ザッカーバーグ氏がgeneral intelligenceとしているのは、米OpenAIや米GoogleがAGI（汎用人工知能）と呼ぶ、人間と同じような汎用的な知能を持つAIを指す。（本稿ではAGIとする。） ザッカーバーグ氏はこれを実現するために、2024年末までに米NVIDIAのHopper採用GPU「H100」を35万枚投入すると語った。 このデータセンターで、次期LLM「Llama 3」を「責任を持って安全にトレーニング」していくという。 同氏はまた、ユーザーが日常的にAGIを使うために、新たなデバイスを必要とすると語った。 「これにより
「ChatGPT」のような生成系AIを高速化するサーバー向けGPUをNVIDIAが発表
「ChatGPT」のような生成系AIを高速化するサーバー向けGPUをNVIDIAが発表 ライター：米田 聡 GTC 2023の基調講演に登場したJensen Huang氏 2023年3月21日，NVIDIAが主催する恒例のGPU技術関連イベント「GTC 2023」がスタートした。3月22日に行われた同社CEOであるJensen Huang（ジェンスン・フアン）氏の基調講演では，さまざまな新しいAI関連製品やサービスが発表となった。 本稿では，基調講演の一部から，ゲーマーでも知っておく価値がありそうなものにしぼって概要を紹介したい。 計算機リソグラフィ分野に大躍進をもたらす「cuLitho」 NVIDIAは自社で工場を持たない，いわゆるファブレスの半導体メーカーである。ただ，ファブレスといっても半導体の製造技術と無関係でいられるわけではない。とくにGPUは，最先端の製造技術を用いる複雑で大規
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
予算30万円台の深層学習用PCの買い方｜shi3z
深層学習をまじめにやるなら、どう考えても専用のPCが必要になる。 僕は現在、Memeplexというサービスを運営していて、これはさくらインターネットさんから大量のGPUを借りている。借りたGPUは、さくらインターネットの石狩データセンターで動いている。 さらに、ABCIは企画の段階から立ち会って、実際に仕事ではよく使っている。ABCIは5000以上のGPUを擁するGPUクラウド基盤で、その実態はスーパーコンピュータである。 ABCIを使えば、ほとんどの難しいタスクを恐ろしく安い料金で行うことができる。GoogleやAmazon AWSのようなサービスを展開することができない本邦においては、国家が設立し、民間利用可能なABCIは国民にとっての天叢雲剣あめのむらくものつるぎである。 それでもなお、手元には深層学習用のPCが必要だ。しかも一台では足りない。 ABCIがいかに安くても、PCほどの利
話題のStable Diffusionがオープンソース化されたのでローカルで動かしてみる
話題のStableDiffusionがオープンソースで8/23に公開されたので、手元のマシンで動かすまで試したいと思います🖼 (下記に記載していますが、自分の環境だとVRAMが不足しているエラーが出てしまったのでイレギュラーな対応をしています🙏) ※ ↑追記 コメント欄にて、 @kn1chtさんが紹介してくださっているように、マシンのVRAMが10GB未満の環境では半精度（float16）のモデルがオススメされています。 本記事では、別の最適化されたものを紹介していますが、こちらの利用も検討してみると良さそうです👉 https://zenn.dev/link/comments/7a470dc767d8c8 StableDiffusionがどんなものかは、深津さんの記事が参考になります。 1. 環境 Razer Blade (RTX 2070, VRAM 8GB) CUDA Toolk
M1 Maxより速いディープラーニングに最適なノートPC｢Tensorbook｣
M1 Maxより速いディープラーニングに最適なノートPC｢Tensorbook｣2022.04.16 22:0045,208 大野恭希 AWSのlambdaにPythonのlambdaにLambda Labsに...世の中Lambda（ラムダ）だらけですね。 LambdaがRazerと共同開発したディープラーニング向けノートPC｢Tensorbook（テンサーブック）｣が発表されています。価格は3499ドル（約44万円）から。 構成は、駆け出しPythonエンジニア初学者でも分かる｢これなら大丈夫だろうGPU｣GeForce RTX 3080（VRAM16GB）と、Core i7 11800、メモリは64GB。GPU性能はアップルのM1 Maxより最大4倍近く速く、Google Colabを用いた学習モデルの構築と近くすれば最大10倍の差が出ているといいます。ま、RTX3080なんだからそ
GPUに比べて最大15倍高速な市販CPU向けのディープラーニングアルゴリズムが開発される
近年のAIは、人間が手を加えなくてもコンピューターが自動的に大量のデータからそのデータの特徴を発見する「ディープラーニング(深層学習)」という学習手法で動いています。このディープラーニングは、コンピューターゲームに代表されるリアルタイム画像処理に特化した演算装置・プロセッサであるGPUで処理されるというのが通例ですが、ライス大学のコンピューター科学者がIntelと共同で「GPUに比べて最大15倍も高速にディープラーニングできるCPU向けソフトウェア」を開発しました。 ACCELERATING SLIDE DEEP LEARNING ON MODERN CPUS:VECTORIZATION, QUANTIZATIONS, MEMORY OPTIMIZATIONS, AND MORE (PDFファイル)https://proceedings.mlsys.org/paper/2021/file/
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い Amazing, every word of what you just said was wrong. 2017.12.20 Updated by Ryo Shimizu on December 20, 2017, 06:24 am JST 昨日の記事に対し、NVIDIAからヒステリックといえるほどの対応が起きました。不思議です。明らかに意図的に動いているのに、公表されている事実を指摘しただけなのにこの反応は不可解ですね。 NVIDIA側からは、「個別に面談して誤解を晴らしたい」という連絡を頂きましたが、そもそもなぜ個別に面談する必要があるのでしょうか。筆者のもとにはNVIDIAからGeForceの供給を止められている、という代理店の話も聞こえてきます。水面下でコトを落ち着かせたいということなのでしょうか。 また、海外には
NVIDIA GeForceソフトウェアお客様使用ライセンス
NVIDIA GeForce ソフトウェアお客様使用ライセンス 大切なお知らせ – よくお読みください: この NVIDIA GeForce ソフトウェアお客様使用ライセンス (「本ライセンス」) は、NVIDIA Corporation とその子会社 (「NVIDIA」) が所有し、ここからダウンロードできる GeForce ソフトウェア (コンピューター ソフトウェアと関連素材(「ソフトウェア」)を含む) の使用に適用される契約です。本ソフトウェアのダウンロード、インストール、コピー、その他の使用により、お客様は本ライセンスのすべての規約に拘束を受けることに同意したものとみなされます。本ライセンスの規約に同意しない場合、ソフトウェアはダウンロードしないでください。 備考 NVIDIA の製品の使用には、ソフトウェア、グラフィックス コントローラー ボードのハードウェア、パーソナル コン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Intel、ついに「Core Ultra」正式発表。Ryzenより高速、AIも推進
NVIDIA純利益14倍 8〜10月、AI半導体で急拡大続く - 日本経済新聞
かわなえ@イラスト on Twitter: "Stable Diffusionが一般公開されて自分のPCで動かせるようになったので、全く知識がないけど環境を構築してみました。ちょっと忘れないように簡単にまとめてみる。(1)"
声以外が消える!? 無料のノイズ除去「NVIDIA Broadcast」がスゴい【藤本健のDigital Audio Laboratory】
GeForceのデータセンター利用を禁止する使用許諾契約に対してNVIDIAが声明
『長文日記』へのコメント
長文日記
not found