米NVIDIAは8月23日（現地時間）、同社2024年度第2四半期（2023年5月～7月）決算を発表した。生成AIの開発競争があらゆるレベルで激化しており、それに伴うAI向けチップの需要拡大を受けて、売上高が前年同期比で倍増し、売上高・利益とも過去最高を更新した。 5〜7月期の売上高は135億700万ドル（前年同期比101%増）。純利益はGAAPベースで61億8800万ドル（同843％増）、1株利益は2.48ドル。非GAAPでは、利益が67億4000万ドル（同422％増）、1株利益は2.70ドル。市場の予想平均は、売上高112億2000万ドル、1株利益2.09ドル（非GAAP）だった。事業部門別の売上高は以下の通り。 ゲーミング：売上高24億9000万ドル（前年同期比22%増） データセンター：売上高103億2000万ドル（前年同期比171％増） プロフェッショナル・ビジュアライゼーション

Stable Diffusionなどの画像生成AIは自身の所有するマシンにインストールしてローカルで実行することが可能です。しかし、快適な画像生成に必要な「大容量のVRAMを備えたグラフィックボード」はPCパーツの中でも高価な部類に入るため、予算の都合から画像生成を諦めている人も多いはず。新たに、安価なAPUでも実用的な速度で画像を生成できたという検証結果がAI関連YouTubeチャンネル「Tech-Practice」によって報告されています。 Democratize AI: turn a $95 chip into a 16GB VRAM GPU! Beats most of the discrete GPUs! | by Ttiotech | Aug, 2023 | Medium https://medium.com/@ttio2tech_28094/51a8636a4719 Demo

現在シリコンバレーで最も注目される話題は「GPU不足」といわれている。生成AIへの関心が高まる中、大規模言語モデルの開発が活発化し、それに伴いGPUをめぐる取得競争が激化しているためだ。そのため、NVIDIAが新たに発表した「GH200」にも注目が集まる。GH200はどんなGPUになるのか。そもそもなぜGPUが不足しているのか、現行GPU「H100」や「A100」は誰が、何個取得したのか、ChatGPTの開発にGPUはどれほど必要なのか。GPU関連の注目トピックを紹介しよう。 バークリー音大提携校で2年間ジャズ／音楽理論を学ぶ。その後、通訳・翻訳者を経て24歳で大学入学。学部では国際関係、修士では英大学院で経済・政治・哲学を専攻。国内コンサルティング会社、シンガポールの日系通信社を経てLivit参画。興味分野は、メディアテクノロジーの進化と社会変化。2014〜15年頃テックメディアの立ち上

ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである

米ロサンジェルスで開催中のコンピュータグラフィックス国際会議SIGGRAPH 2023で8月8日、NVIDIAのジェンスン・ファンCEOが基調講演を行いました。新しいGPUアーキテクチャの発表こそなかったものの、いくつかの重要なアナウンスがありました。 その一つが、Hugging Faceとの提携。 Hugging Faceといえば、画像生成AIから大規模言語モデル（LLM）まで、さまざまなAIモデルのリポジトリとして使われている、生成AIに関わっている人なら必ずお世話になっているサービスです。 NVIDIAはこの発表を、「NVIDIAとHuggung Faceはパートナーシップを結び、生成AIスーパーコンピューティングを数百万もの開発者に提供し、LLMをはじめとする先進のAIアプリケーション開発に資する」と説明しています。 具体的には、NVIDIAのクラウドAIスーパーコンピューティング

米NVIDIAは8月8日（現地時間）、生成AIモデル構築のための新たな統合ツールキット「AI Workbench」を発表した。生成AIモデルをPCやワークステーション上で構築、テスト、カスタマイズできるように設計されている。必要であればそれをデータセンターやクラウドに拡張可能だ。 現在、多数の事前トレーニング済みモデルが利用可能になっているが、それを複数のオンラインリポジトリを横断して探し回り、適切なフレームワークやツールを探すのが大きな負担になっているとNVIDIAは説明する。 AI Workbenchはローカルシステム上で実行できる簡素化されたツールを介してモデルにアクセスできるため、こうした負担を軽減できるとしている。 開発者は、Hugging Face、GitHub、NVIDIA NGCなどの一般的なリポジトリのモデルをカスタマイズでき、モデルは複数のプラットフォーム間で共有できる

【シリコンバレー=渡辺直樹】米エヌビディアは8日、生成人工知能（AI）に使う新しい半導体セットを開発したと発表した。一時的に情報を処理するメモリー容量を従来の3.5倍にし、AIが回答を導き出す処理を高速化する。米アドバンスト・マイクロ・デバイス（AMD）や米グーグル、米アマゾン・ドット・コムもAI半導体の開発に注力しており、最新モデルで対抗する。「どんな大規模言語モデル（AI）でも、これに入れ

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 大規模言語モデル(Large Language Model: LLM)への注目がGPT-4のリリース以降高まっていますが、LLMを作るための知見は十分に共有されているとは言い難いと個人的に感じています。 Turingでは、Vision and Language, Video and Languageなどのマルチモーダルなモデルの研究開発を行っている一環として、Megatron-DeepSpeed, GPT-NeoXなどを用いて数十Bのモデルの学習を行う知見を蓄積しています。今回はLLMの事前学習を行う際に候補となるMegatron-DeepSpeedを用いてGPT-2-7B(6.6B)の学習をどのように行うのかについて解説します。 分散並列学習がどのよう

アメリカ商務省が、早ければ2023年7月中にも、NVIDIAを始めとする半導体メーカーによる中国へのチップ輸出を停止する予定であると、Wall Street Journalが報じました。 U.S. Considers New Curbs on AI Chip Exports to China - WSJ https://www.wsj.com/articles/u-s-considers-new-curbs-on-ai-chip-exports-to-china-56b17feb 事情に詳しい関係者がWall Street Journalに話したところによると、今回の輸出規制は2022年10月に発表された輸出規制措置を成文化し、対象を拡大する最終規則の一部になるとのこと。この規則は、NVIDIAとAMDの最先端チップの供給が遮断されたことに引き続き、中国のAI構築能力をさらに低下させること

NVIDIAとSnowflakeが「企業の貴重なデータを生成AIに変えるサービス」を提供開始：企業の生成AIアプリケーション構築を支援 NVIDIAとSnowflakeは、生成AIを素早く構築するため提携したと発表した。Snowflakeのデータを使用して生成AI用のカスタム大規模言語モデルを構築できるという。

2023年の年初から3倍になった時価総額は、日本の上場企業でトップに君臨するトヨタ自動車の約4倍。アメリカの上場企業の中ではアップル、マイクロソフト、アルファベット（グーグル）、アマゾンなど名だたる巨大IT企業に次ぐ5位に位置する――。 5月末に時価総額が一時1兆ドルの大台に乗ったことで話題になったのが、アメリカの半導体メーカー・エヌビディアだ。 同社はGPU（Graphics Processing Unit）と呼ばれる画像や映像の処理を専門に行う半導体を手がける。ゲーミングPCなどで映像をなめらかに表示するために用いられてきたGPUは近年、自動運転技術や暗号資産の採掘作業（マイニング）で高度な演算処理の担い手として脚光を浴びた。 そして今、GPU需要拡大の新たな起爆剤となっているのが、「データセンター」とChatGPTに代表される「生成AI（用語解説）」だ。 ※用語解説は外部配信先では閲

NVIDIAは2023年5月28日（米国時間）、新しいクラスの大規模メモリを搭載したAI（人工知能）用スーパーコンピュータ「NVIDIA DGX GH200」（以後、DGX GH200）を発表した。「NVIDIA GH200 Grace Hopper Superchip」と「NVIDIA NVLink Switch System」を搭載したNVIDIA DGXスーパーコンピュータは、生成AI言語アプリケーション、レコメンダーシステム、データ分析ワークロード用の巨大な次世代AIモデルの開発を可能にする。2023年末までに提供が開始される予定だ。 DGX GH200の大規模な共有メモリ空間は、NVLinkインターコネクトテクノロジーとNVLink Switch Systemを使用して、256基のGH200 Superchipを結合し、単一のGPUとして実行可能にする。これにより、1エクサFLO

Discussion of this page on Hacker News, May 21, 2023. Training and running neural networks often requires hardware acceleration, and the most popular hardware accelerator is the venerable graphics processing unit, or GPU. We have assembled cloud GPU vendor pricing all into tables, sortable and filterable to your liking! We have split the vendor offerings into two classes: GPU Cloud Servers, which

AIチャットボットの回答にガードレールを用意する！NVIDIA製OSSツール「NeMo Guardrails」を試してみた 2023年4月25日、NVIDIA社が「NeMo Guardrails」というOSSのツールを公開しました。 ひとことでいうと「ChatGPTなどのLLMベースのチャットボットにガードレールを追加できる」ツールのようなのですが、一体どういうものなのだろう？と気になったので触ってみました。以下、簡単にご紹介していきます。 公式のドキュメントをもとに試してみたのですが、ドキュメント上では英語でのチャットのやり取りが使用することが前提となるので、今回はとりあえず私もチャットでのやり取りなど英語ベースで試してみています。その点をあらかじめご了承ください。 概要 NeMo Guardrailsは要するに以下のようなツールです。 ChatGPTなどのLLMを利用するチャットボット

NVIDIAは2023年4月25日（米国時間）、ジェネレーティブAI（生成系AI）の正確性や適切性、文脈の整合性、安全性の確保を支援するツール「NeMo Guardrails」をオープンソースで公開した。同社は「ソフトウェア開発者がジェネレーティブAIアプリケーションを指導し、軌道に乗った優れたテキストの応答を作成するのに役立つ」としている。 「全てのLLMで動作するようにした」 多くの産業で、これからのAIアプリケーションを支えるエンジンである大規模言語モデル（LLM）とそれを使ったサービスの採用が進んでいる。NeMo Guardrailsには、そういったテキスト生成型AIアプリケーションを安全に利用するために必要なコードやドキュメントがまとめられている。 NVIDIAは「OpenAIの『ChatGPT』をはじめとする全てのLLMで動作するように設計した」と説明している。数行のコードを追

NVIDIAは、開発者が大規模言語モデルなど「ジェネレーティブAI」の学習を指導し、優れたテキスト応答を業務の範囲内でおこなうことを支援するオープンソースのソフトウェア「NeMo Guardrails」を新たに公開した。AIチャットボットが業務外の会話をすることを防止し、信頼できる情報源のみを参照するように設定することなどができる。 NeMo Guardrailsは、大規模言語モデル (LLM) を搭載したスマート アプリケーションの正確性、適切性、文脈の整合性、安全性の確保を支援する。このソフトウェアには、テキストを生成するAIアプリケーションに安全性を追加するために企業にとって必要な多くのコード、サンプルコード、そしてドキュメントが含まれている。 LLMは高性能、しかし安全性の確保が必要 「ChatGPT」をはじめとするLLMは、顧客の質問に答えたり、長い文書を要約したり、さらにはソフ