速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
Nintendo Switch 2の詳細スペック判明。CUDAコアは1280基、CPUはArm A78を8コア搭載
Nintendo Switch 2の詳細スペックが判明。GPU内蔵のCUDAコアは1280基、CPUはArm A78を8コア搭載 Nintendo Switch 2についてはGamescom2023にて関係者内でデモ機が披露され、そこでUnreal Engine 5などが動作しているデモが行われたという噂が出るなど、発売に向けて着々と開発が進められているためかここ最近はリーク情報が多く出始めています。 今回はこの中でも今まで明らかにされていたAmpereアーキテクチャーのGPUを搭載すると言う情報に加えて、このGPUに内蔵されるCUDAコア数やCPUのアーキテクチャーとコア数、そして製造プロセスに関する情報が登場しました。 Samsung Foundry 7LPH(8-nanometer improved version) — Revegnus (@Tech_Reve) September
次世代Nintendo Switch 「スイッチ2」(仮)のデモを見た証言続々。DLSSやレイトレ対応、UE5のMATRIXデモも | テクノエッジ TechnoEdge
著書に『宇宙世紀の政治経済学』（宝島社）、『ガンダムと日本人』（文春新書）、『教養としてのゲーム史』（ちくま新書）、『PS3はなぜ失敗したのか』（晋遊舎）、共著に『超クソゲー2』『超アーケード』『超ファミコン』『PCエンジン大全』（以上、太田出版）、『ゲーム制作 現場の新戦略 企画と運営のノウハウ』(MdN)など。 Nintendo Switchも発売から7年目を迎え、そろそろライフサイクルの終わりに差し掛かりつつあります。 そんななか、後継モデル（以下「スイッチ2」）の未確認情報も相次いでいましたが、今度は「任天堂が実際に開発者にスイッチ2の技術デモを見せた」と複数の人物が証言しています。 いずれも、先月下旬にドイツ・ケルンで開催された大型ゲームイベントgamescom 2023での証言です。 まずはイベント終了直後、マイクロソフト関連で信頼性の高いWindows Centralの編集者
「ChatGPT」のような生成系AIを高速化するサーバー向けGPUをNVIDIAが発表
「ChatGPT」のような生成系AIを高速化するサーバー向けGPUをNVIDIAが発表 ライター：米田 聡 GTC 2023の基調講演に登場したJensen Huang氏 2023年3月21日，NVIDIAが主催する恒例のGPU技術関連イベント「GTC 2023」がスタートした。3月22日に行われた同社CEOであるJensen Huang（ジェンスン・フアン）氏の基調講演では，さまざまな新しいAI関連製品やサービスが発表となった。 本稿では，基調講演の一部から，ゲーマーでも知っておく価値がありそうなものにしぼって概要を紹介したい。 計算機リソグラフィ分野に大躍進をもたらす「cuLitho」 NVIDIAは自社で工場を持たない，いわゆるファブレスの半導体メーカーである。ただ，ファブレスといっても半導体の製造技術と無関係でいられるわけではない。とくにGPUは，最先端の製造技術を用いる複雑で大規
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
話題のStable Diffusionがオープンソース化されたのでローカルで動かしてみる
話題のStableDiffusionがオープンソースで8/23に公開されたので、手元のマシンで動かすまで試したいと思います🖼 (下記に記載していますが、自分の環境だとVRAMが不足しているエラーが出てしまったのでイレギュラーな対応をしています🙏) ※ ↑追記 コメント欄にて、 @kn1chtさんが紹介してくださっているように、マシンのVRAMが10GB未満の環境では半精度（float16）のモデルがオススメされています。 本記事では、別の最適化されたものを紹介していますが、こちらの利用も検討してみると良さそうです👉 https://zenn.dev/link/comments/7a470dc767d8c8 StableDiffusionがどんなものかは、深津さんの記事が参考になります。 1. 環境 Razer Blade (RTX 2070, VRAM 8GB) CUDA Toolk
クリプト暴落でGPUの叩き売りがはじまった
暗号通貨暴落でマイニング撤退が加速。 中国・東南アジアではシステムを解体してグラフィックボードをたたき売りするネカフェが早くも出現しています。 もうクリプトは当分反発しそうにないし、このままじゃ電気代の元がとれない、GPUが値崩れ起こす前に少しでも高く売って回収しないと…という焦燥感に駆られるように、ネットの競売、SNSのライブストリームで売りまくってる姿が確認されています。Baiduなどのフォーラムに出ている写真を見ても、デスクや床の上にむき出しのグラフィックボードが散乱していて、まるで撤兵後の野戦場です。 どれだけの安値で売られているのか？気になる相場はだいたいこんな感じです。 ・ NVIDIA GeForce RTX 3060 Ti ：2,699元（約5万5000円） ・ NVIDIA GeForce RTX 3080：たったの1,399元（約2万8500円） や、安い…。安く出品し
Intel、暗号資産マイニング市場参入 年内に専用GPU“ブロックチェーンアクセラレータ”リリースへ
米Intelは2月11日（現地時間）、マイニング効率が従来のGPUの1000倍上という“ブロックチェーンアクセラレータ”を年内に出荷すると発表した。そのための新たなグループ「Custom Compute Group」の立ち上げも発表した。 このブロックチェーンアクセラレータは、「ハッシュ関数SHA-256ベースのマイニング用の主流のGPUよりもワット当たり1000倍以上優れたパフォーマンスを持つ」とIntelは説明する。 ジャック・ドーシーCEO率いる米決済企業Block（旧Square）と英暗号資産マイニング企業Argo Blockchainがこのシステムを採用する最初の企業になる見込み。 ドーシー氏は1月、Blockでオープンなビットコインマイニングシステムの構築に取り組んでいると発表しており、このシステムにIntelのハードウェアを採用するようだ。 Intelは、この取り組みでは持続
最近よく聞く「レイトレーシング」 一体ナニモノ？
最近よく聞く「レイトレーシング」 一体ナニモノ？：レイトレーシングが変えるゲームグラフィックス（第1回）（1/3 ページ） 2018年、NVIDIAがリアルタイムレイトレーシング（RT）に対応するGPU「GeForce RTX 20シリーズ」を発表した。このことは、2000年に誕生した「プログラマブルシェーダー」以来となるグラフィックスパイプラインにおける大きな“変革”をもたらした。 →NVIDIAが新アーキテクチャの「GeForce RTX」シリーズを発表 価格は499ドルから そして2020年、ついに家庭用ゲーム機にもRT機能が搭載された。そう、「PlayStation 5（PS5）」と「Xbox Series X」「Xbox Series S」のことである。これらのゲーム機にAPU（GPU統合型CPU）を提供しているAMDも同年、RTに対応するGPU「Radeon RX 6000シリ
GPUに比べて最大15倍高速な市販CPU向けのディープラーニングアルゴリズムが開発される
近年のAIは、人間が手を加えなくてもコンピューターが自動的に大量のデータからそのデータの特徴を発見する「ディープラーニング(深層学習)」という学習手法で動いています。このディープラーニングは、コンピューターゲームに代表されるリアルタイム画像処理に特化した演算装置・プロセッサであるGPUで処理されるというのが通例ですが、ライス大学のコンピューター科学者がIntelと共同で「GPUに比べて最大15倍も高速にディープラーニングできるCPU向けソフトウェア」を開発しました。 ACCELERATING SLIDE DEEP LEARNING ON MODERN CPUS:VECTORIZATION, QUANTIZATIONS, MEMORY OPTIMIZATIONS, AND MORE (PDFファイル)https://proceedings.mlsys.org/paper/2021/file/
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
富士通、プログラム処理中でもCPUとGPUを切り替える世界初の技術。GPU不足に対応
AMD、前世代比2.7倍の性能となった「Radeon RX 7000」
新型グラフィックボード「RTX4090」がPS5と同等のビッグサイズでマザーボード"が"支えられる新時代へ突入
かわなえ@イラスト on Twitter: "Stable Diffusionが一般公開されて自分のPCで動かせるようになったので、全く知識がないけど環境を構築してみました。ちょっと忘れないように簡単にまとめてみる。(1)"
ビットコインが暴落してマイニングしてた人達が中古GPUを投げ売り→「お前らのせいでGPUが値上がりしてたんだよ誰が買うか」と怨嗟の声が上がる
女性 on Twitter: "M2 も性能上がってない(GPU のクロック増加*コア増加ぐらいで CPU は一切手つけてない)し、 Apple の CPU 部門まじでなんかあったっぽいね。 M2 の製品寿命も 1.5 年だとすれば 3 年間一切性能上がらないと… https://t.co/IvcsjVDcn7"
“ペタ”FLOPSの性能を実現したモンスターGPU「NVIDIA H100」
声以外が消える!? 無料のノイズ除去「NVIDIA Broadcast」がスゴい【藤本健のDigital Audio Laboratory】
オープンソースの3DCG制作ツール「Blender」が20年以上ぶりのメジャーアップデート／アーキテクチャーを一新した「Cycles X」エンジンで生まれ変わった「Blender 3.0」
Windows 10プレビューでついにLinuxのGUIアプリが動作。オーディオやGPUも対応
