並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 2672件

新着順 人気順

gpuの検索結果1 - 40 件 / 2672件

  • かつてNVIDIAを救った日本人「入交昭一郎」とは?

    2024年2月に発表された決算情報ではNVIDIAの年間売上高は600億ドル(約9兆3500億円)で、時価総額2兆ドル(約312兆円)を超える巨大企業となっていますが、そんなNVIDIAでも創業直後は貧弱な企業であり、かつて入交昭一郎という日本人に救われた歴史があるとWall Street Journalが報じました。 The 84-Year-Old Man Who Saved Nvidia - WSJ https://www.wsj.com/business/nvidia-stock-jensen-huang-sega-irimajiri-chips-ai-906247db 入交昭一郎 - Wikipedia https://ja.wikipedia.org/wiki/%E5%85%A5%E4%BA%A4%E6%98%AD%E4%B8%80%E9%83%8E 入交氏は大学卒業後に本田技研

      かつてNVIDIAを救った日本人「入交昭一郎」とは?
    • 最近ローカルLLMがアツいらしい

      最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ?というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 & OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し

      • Pythonのように書けてGPU上で並列処理できる新プログラミング言語「Bend」、2D画像→3Dを高精度生成するGoogle「CAT3D」など重要論文5本を解説(生成AIウィークリー) | テクノエッジ TechnoEdge

        2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless(シームレス)を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第47回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ GPU上でネイティブ動作する並列処理が可能な新プログラミング言語「Bend」とランタイムシステム「HVM2」 2D画像から3Dコンテンツを生成する「CAT3D」をGoogleが開発 大規模言語モデルは追加学習や新知識で幻覚生成が増加。Googleなどが調査 画像とテキストを使った長文生成が得意なAIモデル「Chameleon」をMetaが開発 Transformerを超える「Mamba」は視覚認識タスクに必要か? 開発した「MambaOut」モデルで検証 GPU上でネイティブ動作する並列

          Pythonのように書けてGPU上で並列処理できる新プログラミング言語「Bend」、2D画像→3Dを高精度生成するGoogle「CAT3D」など重要論文5本を解説(生成AIウィークリー) | テクノエッジ TechnoEdge
        • Intel Core Ultra搭載のMSI初のポータブルゲーミングPC「Claw A1M」のベンチマーク結果をまとめてみた

          7インチのフルHDディスプレイ搭載ボディに、CPUとしてIntelのCore Ultraプロセッサを採用した、MSIとして初のポータブルゲーミングPC「Claw A1M」が登場したので、フォトレビューに続いて、いろいろなベンチマークを行ってみました。 MSI初のポータブルゲーミングPC「Claw A1M」誕生! https://jpstore.msi.com/html/page74.html 端末の外観情報などは以下のフォトレビュー記事を参考にしてください。 7インチ画面にUltra 7プロセッサ搭載のポータブルゲーミングPC「Claw A1M」フォトレビュー - GIGAZINE ◆スペック確認 まずは「CPU-Z」でCPU情報を確認。搭載CPUは「Intel Core Ultra 7 155H」で、16コア・22スレッドです。 続いてGPU-ZでGPU情報を確認。CPU内蔵GPUの「I

            Intel Core Ultra搭載のMSI初のポータブルゲーミングPC「Claw A1M」のベンチマーク結果をまとめてみた
          • 【2024年版】WSL2+Ubuntu24.04+Docker+GPUでつくる機械学習環境

            はじめに WSL2(Windows Subsystem for Linux 2)は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU:NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール

              【2024年版】WSL2+Ubuntu24.04+Docker+GPUでつくる機械学習環境
            • NVIDIA主導で日本が「ソブリンAI」先進国に、AI立国に必須とNVIDIAが提唱するソブリンAIとは一体何なのか?

              NVIDIAが2024年5月15日に、経済産業省の助成や国内の主要クラウド企業との協力により、日本の生成AIインフラの構築を推進し、自国のデータを自国のAIで活用する「ソブリンAI」の基盤作りを強化していくこと発表しました。 NVIDIA to Help Elevate Japan’s Sovereign AI Efforts Through Generative AI Infrastructure Build-Out | NVIDIA Blog https://blogs.nvidia.com/blog/japan-sovereign-ai/ NVIDIA、生成AIインフラ構築をとおして日本のソブリンAIの取り組みを支援 | NVIDIAのプレスリリース https://prtimes.jp/main/html/rd/p/000000466.000012662.html NVIDIAは今

                NVIDIA主導で日本が「ソブリンAI」先進国に、AI立国に必須とNVIDIAが提唱するソブリンAIとは一体何なのか?
              • 生成AI“急速普及”電力需要が増加?どうなる今後のエネルギー | NHK

                「皆さんがスマートフォンで何かを検索するだけでデータセンターのコンピューターが働いている」 国内の電力需要は減少傾向にありましたが、生成AIの急速な普及などに伴い、一転して増加が見込まれています。 こうした中、国の中長期的なエネルギー政策の指針「エネルギー基本計画」の見直しの議論が始まりました。 目次 データセンター建設相次ぐ なぜ? 生成AIの急速な普及 電力需要に影響も

                  生成AI“急速普及”電力需要が増加?どうなる今後のエネルギー | NHK
                • Zenbook 14 OLEDでみるCore Ultra内蔵GPUのゲーミング性能。内蔵GPUのレイトレ性能はどのくらい?(西川善司のバビンチョなテクノコラム) | テクノエッジ TechnoEdge

                  テクニカルジャーナリスト。東京工芸大学特別講師。monoAI Technology顧問。IT技術、半導体技術、映像技術、ゲーム開発技術などを専門に取材を続ける。スポーツカー愛好家。 Core Ultra搭載のノートPCのサンプル評価機が我が家にやってきた。 モデル名はASUS「Zenbook 14 OLED UX3405」。 西川Zen司という名前でありながら、ASUSのZenbookを実際に自宅で触るのは初めてのことである(Ry"Zen"の方は初代から愛用してはいたが)。 本機の搭載CPUは、Core Ultra 7 155Hで、ラインアップ上の中間グレードに位置するモデルとなる。 搭載CPUはCore iシリーズではなく、Intelが昨年末から投入を開始した新シリーズ「Core Ultra」を採用。本機は、いわゆるIntelが2024年以降に強力に推進する「AI PC」だ。 わざわざ「

                    Zenbook 14 OLEDでみるCore Ultra内蔵GPUのゲーミング性能。内蔵GPUのレイトレ性能はどのくらい?(西川善司のバビンチョなテクノコラム) | テクノエッジ TechnoEdge
                  • まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 (1/5)

                    筆者の環境で、LM StudioでCommand R+を動作させている様子。会話相手は自作キャラクターの「明日来子(あすきこ)さん」 PCローカル環境で動作する大規模言語モデル(LLM)「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT(GPT-4)と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。これが体験できるようになったのは、LM Studioに代表されるローカルLLMを動かすためのアプリ環境が整ってきたためです。今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ、一気にあわただしくなってきました。 導入が難しかったローカルLLM、「LM Studio」で簡単に Command R+を試すのに使っているのが、LLMの主要モデルを実行するための統

                      まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 (1/5)
                    • 新型「iPad Pro」がM3チップをスキップした理由 現地でM4チップ搭載モデルと「iPad Air」に触れて驚いたこと

                      新型「iPad Pro」がM3チップをスキップした理由 現地でM4チップ搭載モデルと「iPad Air」に触れて驚いたこと:本田雅一のクロスオーバーデジタル(1/6 ページ) Appleが行った新しいiPadシリーズの発表は、実に多くの情報を含んだものだった。その全体像は、発表された製品のレポート記事にある通りだ。 →iPadに“史上最大”の変化 「Appleスペシャルイベント」発表内容まとめ 発表に伴うスペシャルイベントは米国のニューヨーク、イギリスのロンドン、そして中国の上海(翌日開催)の世界3拠点で行われる大規模なものになった。事前のうわさ通り「iPad Pro」が刷新された他、M2チップを搭載した上で13インチモデルも追加された「iPad Air」、そして日本では1万円値下げされた「iPad(第10世代)」など、iPadに焦点を絞ったとは思えないほどに“盛りだくさん”だったといえる

                        新型「iPad Pro」がM3チップをスキップした理由 現地でM4チップ搭載モデルと「iPad Air」に触れて驚いたこと
                      • NVIDIA製ワークステーションGPU搭載&メモリを簡単に交換できるノートPC「ThinkPad P1 Gen 7」をLenovoが発表

                        Lenovoが2024年4月23日にモバイルワークステーション「ThinkPad P1 Gen 7」を発表しました。ThinkPad P1 Gen 7はLPCAMM2規格のメモリを搭載しており、簡単にメモリを交換できるのが特徴です。 Lenovo Unveils Its New AI-Ready ThinkPad P1 Gen 7 Mobile Workstation - Lenovo StoryHub https://news.lenovo.com/pressroom/press-releases/lenovo-unveils-its-new-ai-ready-thinkpad-p1-gen-7-mobile-workstation/ ThinkPad P1 Gen 7はCPUにIntel Core Ultraを採用し、GPUはゲーミング向けのNVIDIA GeForce RTX 40シ

                          NVIDIA製ワークステーションGPU搭載&メモリを簡単に交換できるノートPC「ThinkPad P1 Gen 7」をLenovoが発表
                        • インストール不要でLlama 3やMistralなどオープンソースLLMをブラウザで動かせるチャットボット「Secret Llama」が登場

                          Llama 3やMistral-7Bといったオープンソースの大規模言語モデル(LLM)をサポートし、WebGPUを使ってブラウザ上で完全に動作するチャットボット「Secret Llama」が公開されています。 Secret Llama https://secretllama.com/ GitHub - abi/secret-llama: Fully private LLM chatbot that runs entirely with a browser with no server needed. Supports Mistral and LLama 3. https://github.com/abi/secret-llama 実際にSecret LlamaのデモサイトでLlama 3を動作させて会話してみたところが以下のムービー。 大規模言語モデルを完全にブラウザで動作できる「Secr

                            インストール不要でLlama 3やMistralなどオープンソースLLMをブラウザで動かせるチャットボット「Secret Llama」が登場
                          • なぜ Apple が M4 をいきなり発表したのか? TSMC ロードマップとローカルAI時代の幕開け - 狐の王国

                            昨晩、Apple が新型 iPad Pro と iPad Air を発表した。一部で予想されていた通り、M3 はスキップして M4 が搭載された。Air も M3 ではなく M2 が搭載された。これは Apple Silicon を製造する TSMC の動向をある程度追いかけてる人にとっては、とても合点がいく展開だったと思う。 www.apple.com Apple Silicon でも TSMC の N3B と呼ばれる 3nm 世代を使って製造されるのは iPhone 15 Pro に搭載される A17 Pro だけになるんじゃないかと考えていた。なぜなら TSMC N3B はたいへん歩留まりが悪い、つまり不良品率が高くて製造コストが高いと報じられていたからだ。それを改善した N3E もすでに動いていて、Apple 製品以外はこちらを使うことになるだろうとも報じられていた。 実際は Ap

                              なぜ Apple が M4 をいきなり発表したのか? TSMC ロードマップとローカルAI時代の幕開け - 狐の王国
                            • Apple、M4チップを搭載した美しく新しいiPad ProとApple Pencil Proを発表

                              カリフォルニア州クパティーノ Appleは本日、驚くほど薄くて軽いデザインで、持ち運びやすさとパフォーマンスを次のレベルへ引き上げる、革新的な新しいiPad Proを発表しました。シルバーとスペースブラックの仕上げが用意されている新しいiPad Proは、広々とした13インチのモデルと極めて持ち運びやすい11インチのモデルの2つのサイズで提供します。どちらのサイズも、世界で最も先進的なディスプレイである、最先端のタンデムOLEDテクノロジーを採用した新しい画期的なUltra Retina XDRディスプレイを搭載し、驚くべき視覚体験を提供します。新しいiPad Proは、次世代のAppleシリコンである新しいM4チップによって実現し、パフォーマンスと機能が飛躍的に進化しています。M4はまったく新しいディスプレイエンジンを搭載し、Ultra Retina XDRディスプレイの精度、色、輝度を

                                Apple、M4チップを搭載した美しく新しいiPad ProとApple Pencil Proを発表
                              • 1つの大きなLLM(大規模言語モデル)を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog

                                地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM(大規模言語モデル)もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が!」とか言われるようになってまいりました。パラメータ規模で言えば70億~130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい! しかしながら、コンシュマー向けのGPUにおいては、7B

                                  1つの大きなLLM(大規模言語モデル)を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
                                • NVIDIAのGPU不足は今後も続く ボトルネックはHBMとTSMCの中工程か

                                  2022年11月にOpen AIがChatGPTを公開して以降、生成AI(人工知能)が爆発的に世界に普及している。その生成AIは、NVIDIAのGPUなどのAI半導体を搭載したAIサーバ上で動作する。 しかし、昨年2023年12月14日に行われた台湾の調査会社TrendForceの予測によれば、AIサーバの出荷台数は思ったほど伸びない。AIサーバが、全てのサーバの出荷台数に占める割合は、2022年に6%、2023年に9%、2024年に13%、2025年に14%、2026年に16%にとどまる予測となっている(図1)。 図1 サーバの出荷台数、AIサーバの割合および、AIチップ用ウエハーの割合[クリックで拡大] 出所:Joanna Chiao(TrendForce)、「TSMCの世界戦略と2024年半導体ファウンドリ市場の展望」(TreendForce産業フォーカス情報、2023年12月14日

                                    NVIDIAのGPU不足は今後も続く ボトルネックはHBMとTSMCの中工程か
                                  • 【海外ITトピックス】 わずか5カ月で評価額が3倍に GPUクラウドのCodeWeave

                                      【海外ITトピックス】 わずか5カ月で評価額が3倍に GPUクラウドのCodeWeave
                                    • AI性能を重視したIntel第14世代SoC「Core Ultra」に搭載されたNPUの性能とは?

                                      Intelが2023年12月に正式発表した第14世代CoreプラットフォームのノートPC向けプロセッサ「Core Ultra」は、2023年9月に発表されたMeteor Lakeアーキテクチャがベースになっています。そんなCore UltraにはAI処理に特化したニューラルプロセッシングユニット(NPU)が搭載されており、このNPUについて海外メディアのChips and Cheeseが解説しています。 Intel Meteor Lake’s NPU – Chips and Cheese https://chipsandcheese.com/2024/04/22/intel-meteor-lakes-npu/ Core Ultraに搭載されたNPUは「NPU 3720」と呼ばれています。そんなNPU 3720には2つのニューラルコンピューティングエンジン(NCE)タイルが搭載されており、こ

                                        AI性能を重視したIntel第14世代SoC「Core Ultra」に搭載されたNPUの性能とは?
                                      • Supercomputing Contest 2013/GPUプログラミング資料 - Supercomputing Programing Contest Official Site

                                        2023-09-13 SupercomputingContest2023 2023-09-06 Supercomputing Contest News News/sc230906 2023-09-01 News/sc230830 2023-08-28 News/sc230828 SupercomputingContest2023/本選結果 2023-08-01 MenuBar 2023-06-29 News/sc230629 SupercomputingContest2023/予選結果 2023-06-12 SupercomputingContest2023/予選・認定問題Q&A 2023-06-01 SupercomputingContest2023/問題および関連ファイル群更新履歴 2023-05-31 News/sc230531 2023-05-30 News/sc230530 20

                                        • Stable Diffusionの生成速度をビデオカード複数枚挿しで“実質的に”爆速にしてみた (1/3)

                                          Stable Diffusionを代表とする画像生成AIにおいて、生成スピードを上げるにはより強力なGPUが必要だ。GeForceならRTX 4090のような最強のGPUが使えればいいが、誰もが手にできる価格とは言い難い。 となればビデオカードを複数枚使用してStable Diffusionの生成スピードが向上しないだろうか? と考えるのは自然な流れだが、今のStable Diffusionは複数のGPUを協調させて処理する機能は搭載されていない。 しかし、Stable Diffusion(とAutomatic 1111)をGPUごとに紐付けて起動することで、ビデオカードの数だけ並行して作業を進めることができる。玄人志向の製品紹介ページには、まさにそういった記述が存在する。 玄人志向公式サイトの製品紹介ページには、複数のビデオカードを使うとStable Diffusionの生成速度がほぼ倍

                                            Stable Diffusionの生成速度をビデオカード複数枚挿しで“実質的に”爆速にしてみた (1/3)
                                          • NVIDIAのローカルAI「ChatRTX」、AIモデル追加で画像認識や音声入力が可能に/

                                              NVIDIAのローカルAI「ChatRTX」、AIモデル追加で画像認識や音声入力が可能に/
                                            • 【検閲なし】GPUで生成するローカルAIチャット環境と小説企画+執筆用ゴールシークプロンプトで叡智小説生成最強に見える|カガミカミ水鏡👯

                                              この記事では日本語小説に強いローカルLLM環境を簡単構築できるEasyLightChatAssistantの紹介と、論理破綻が少ない効率的な小説生成を促す(と個人的には思っている)AIチャット用プロンプトの公開をしていきます。このコンテンツは主に官能小説をベースに語りますので、年齢制限などお住まいの国家地域のレーティングに従ってお読みください。 どうもこんにちは、休日に「生成AIなんでも展示会」というイベントを知って寝てからいくかーと思って起きて行こうと思ったら当日参加不可イベントだったことを知ったカガミカミ水鏡です。そうよ鉄郎……私は計画性がない女…… ところでエロ小説が大好きな皆さん(直球)、カガミカミ水鏡さんという方はご存知ですか? 生成AIが頭角を表すはるか以前の2015年からpixivの片隅できしょいジャンルの小説を投稿してるエロSS書きです(猫耳の奴などは2011年にbbspi

                                                【検閲なし】GPUで生成するローカルAIチャット環境と小説企画+執筆用ゴールシークプロンプトで叡智小説生成最強に見える|カガミカミ水鏡👯
                                              • 「ゼロからGPU開発」に経験なし&わずか2週間で成功した猛者が登場

                                                コードなしでWeb3コンテンツなどを開発することができるプラットフォーム・thirdwebの創設者であるadammaj氏が、「経験なしで2週間でゼロからGPUを構築した」と報告しています。 I've spent the past ~2 weeks building a GPU from scratch with no prior experience. It was way harder than I expected. Progress tracker in thread (coolest stuff at the end)👇 pic.twitter.com/VDJHnaIheb— adammaj (@MajmudarAdam) ◆ステップ1:GPUアーキテクチャの基礎を学ぶ adammaj氏はまず、最新のGPUがアーキテクチャレベルでどのように機能しているのかを理解しようとしたそうで

                                                  「ゼロからGPU開発」に経験なし&わずか2週間で成功した猛者が登場
                                                • 【VIDEO CARD LABORATORY 新装第1回】Radeon環境のフレームレートを激増させる「AFMF」を深掘りする ハマれば効果は絶大!そのメリットとデメリットを徹底検証 text by 加藤 勝明

                                                    【VIDEO CARD LABORATORY 新装第1回】Radeon環境のフレームレートを激増させる「AFMF」を深掘りする ハマれば効果は絶大!そのメリットとデメリットを徹底検証 text by 加藤 勝明
                                                  • 【西川和久の不定期コラム】 自前でStable Diffusion用美女モデル作成の後日談。そしてVRAM 80GBのA100も使ってみた!

                                                      【西川和久の不定期コラム】 自前でStable Diffusion用美女モデル作成の後日談。そしてVRAM 80GBのA100も使ってみた!
                                                    • MLX で Llama2 を動かしてみる

                                                      Appleシリコン上での実行に対応した機械学習ライブラリMLXが公開されました。 今回は公式が公開している"mlx-examples"リポジトリの"llama"を使って、llama2-7b-chatの実行を試してみます。 commit: 3cf436b529ea58d6c0c0a29c0dd799908cd4497d 2023/12/22 検証環境 MacBook Pro Apple M3 Pro メモリ 36GB 公式要件としては、以下の環境が示されています。以下要件を満たしていてもメモリが少ない場合、実行するモデルによっては推論ができない可能性があります。 Using an M series chip (Apple silicon) Using a native Python >= 3.8 macOS >= 13.3 環境構築 まず"mlx-examples"のリポジトリをローカルにク

                                                        MLX で Llama2 を動かしてみる
                                                      • 中国がアメリカに禁じられたはずのNVIDIA製AIチップをDell・Gigabyte・Supermicro製サーバーから取得していたことが明らかに

                                                        中国が高性能チップをAI搭載兵器やサイバー攻撃ツールなどに軍事転用することへの懸念から、アメリカ政府はNVIDIAなどの半導体メーカーに対し、中国への高性能チップ輸出を規制しています。しかし、中国国内の一部の研究機関や大学では、NVIDIA製チップが搭載されたDellやGigabyte、Supermicro製のサーバーを再販業者から仕入れることでこの規制を回避していることが指摘されています。 China acquired recently banned Nvidia chips in Super Micro, Dell servers, tenders show | Reuters https://www.reuters.com/world/china/china-acquired-recently-banned-nvidia-chips-super-micro-dell-servers-

                                                          中国がアメリカに禁じられたはずのNVIDIA製AIチップをDell・Gigabyte・Supermicro製サーバーから取得していたことが明らかに
                                                        • メモリ型の「Raspberry Pi Compute Module 4S」登場

                                                            メモリ型の「Raspberry Pi Compute Module 4S」登場
                                                          • LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由|erukiti

                                                            もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし

                                                              LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由|erukiti
                                                            • 準備0でローカルLLMを動かす(LM Studio)

                                                              はじめに Metaが新しく公開したLLMの性能が他の最新モデルに匹敵する性能となっており、ベンダーから提供されるAPIを使わずに、自分のPC上でLLMを動かしたい欲求が高まりました。 ローカルでLLMを動かすメリットとして、以下が考えられます。 従量課金制のAPIの費用を気にしなくて良い (※PCの電気代はかかるが) 個人情報を第三者に送信しないので、プライバシー面を考慮する必要がない LM Studio ローカルでLLMを動かす懸念として、環境構築など準備に時間がかかることが一つ挙げられます。 そこで、便利なツールを探していたところ、LM Studioを発見しました。 このツールは、GUI上でLLMの取得から起動までをボタンクリックで進めることができます。 さらに、チャットのUIやローカルサーバの起動・Pythonコード例の提示までしてくれる便利ツールとなっていました。 操作手順 使用し

                                                                準備0でローカルLLMを動かす(LM Studio)
                                                              • GPUなしでもできる画像生成AI ~Web UI「A1111」の環境構築と利用方法を伝授【生成AIストリーム】

                                                                  GPUなしでもできる画像生成AI ~Web UI「A1111」の環境構築と利用方法を伝授【生成AIストリーム】
                                                                • 自宅PCでクラスターを構築:コンシューマーGPUの枠を超え、大型LLMをローカルで動かす!|AIサトシ

                                                                  最近オープンになる大規模言語モデル(LLM)が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日本語性能について評価が高く、一部の性能はGPT-4並みと言われますが、さすがに大型で104Bパラメータもあるため、4bitに量子化しても60GB程度のVRAMが必要となります。 コンシューマークラスのGPUの最高峰、RTX4090は、VRAM24GBのため、command-r-plusをすべてGPUに載せて推論しようと考えると、3台のマルチGPUデスクトップが必要です しかし、RTX4090は450W消費のGPUのため冷却機構が大きく、1デスクトップに3台収めるのは至難の業となります。 先日、水冷ラジエーター付きRTX4090で、マルチGPUデスクトップを作成しました。 水冷

                                                                    自宅PCでクラスターを構築:コンシューマーGPUの枠を超え、大型LLMをローカルで動かす!|AIサトシ
                                                                  • 僕の考えた最強の Python 開発環境 (2024)

                                                                    はじめに こんにちは, 普段は情報科学専攻の大学院生をしながらバックエンドエンジニアをやっている @koki-algebra です. 普段は Go をよく書いているのですが, 大学でやっている機械学習の研究では Python を使うことがほとんどです. Go のエコシステムに慣れきった私は Python の混沌とした環境に耐えきれず, 最強の開発環境を整えることを決意しました. 具体的には Package Manager, Formatter, Linter, Type Checker, Test Tool を選定し, VSCode の DevContainer を用いてポータビリティに優れた開発環境を作ることを目指します. また, Deep Learning では GPU が必須である場合が多いので, GPU 環境も同時に整えたいと思います. 以下のレポジトリが今回考えた開発環境のテンプ

                                                                      僕の考えた最強の Python 開発環境 (2024)
                                                                    • さくらインターネット、AI半導体1万個調達へ 従来計画の5倍 - 日本経済新聞

                                                                      さくらインターネットは19日、米エヌビディアなどから画像処理半導体(GPU)8000個を追加調達すると発表した。人工知能(AI)の開発に使うスーパーコンピューターの整備に向け、GPUを組み込んだ高性能サーバーを増やす。従来計画と合わせて2027年末までに合計1万個のGPUを購入する。さくらネットは23年以降、エヌビディアなどから2000個のGPUの調達を進めている。エヌビディア製のGPUの調達

                                                                        さくらインターネット、AI半導体1万個調達へ 従来計画の5倍 - 日本経済新聞
                                                                      • 生成AI処理などを高速化したプロ向けエントリーGPU「NVIDIA RTX A400/A1000」

                                                                          生成AI処理などを高速化したプロ向けエントリーGPU「NVIDIA RTX A400/A1000」
                                                                        • MatroxのIntel Arc A380搭載ビデオカードが国内発売

                                                                            MatroxのIntel Arc A380搭載ビデオカードが国内発売
                                                                          • NVIDIAがRTX 3050と同じGPU搭載のRTX A1000とA400を発表。ロープロファイル・シングルスロットで最強GPUに?

                                                                            NVIDIAがRTX 3050と同じGPUを搭載するRTX A1000とRTX A400を発表。ロープロファイルかつシングルスロットで最強GPUに? NVIDIAではロープロファイルGPUとしてGeForce RTX 4060やその前にはRTX A2000などが発売され、これらのグラフィックカードがロープロファイル規格を満たすグラフィックカードとして非常に高い性能を持っていました。 しかし、これらグラフィックカードはロープロファイルではあるものの、2スロットで小型かつ薄型デスクトップには入らないケースもありましたが、NVIDIAではAmpere GPUを搭載したロープロファイルかつシングルスロットのRTX A1000とRTX A400の2モデルを発表しました。 NVIDIA RTX A1000およびRTX A400はRTXシリーズとしてリリースされているため、ゲーミング向け製品ではありませ

                                                                              NVIDIAがRTX 3050と同じGPU搭載のRTX A1000とA400を発表。ロープロファイル・シングルスロットで最強GPUに?
                                                                            • 古い写真・低画質アニメ画像・イラストなどを簡単に高画質化できる「Winxvideo AI」でいろんな画像をハッキリクッキリアップグレードさせてみたレビュー

                                                                              最先端のAI技術を利用して自動で動画を高画質化・フレーム補間・手ぶれ補正することができるソフトウェア「Winxvideo AI」は、動画だけでなく画像の高画質化も可能です。低画質な画像を鮮明に補正することができるということで、Winxvideo AIを使っていろんな画像を高画質化しまくってみました。 【無料】Winxvideo AI - 最高の動画、写真高画質化・修復&動画変換ソフト|無料体験 https://www.winxdvd.com/winxvideo-ai-ja/index.htm Winxvideo AIをインストールするには、上記の公式サイトにアクセスしてトップにある「無料ダウンロード」ボタンをクリック。 ダウンロードしたインストーラーをダブルクリックで起動。 「インストール」をクリック。 数秒でインストールが完了するので、「今すぐ起動」をクリック。 「後で通知する」をクリッ

                                                                                古い写真・低画質アニメ画像・イラストなどを簡単に高画質化できる「Winxvideo AI」でいろんな画像をハッキリクッキリアップグレードさせてみたレビュー
                                                                              • 生成AIでGPUがいらなくなる? 業界を揺るがす「1ビットLLM」とは何か、識者に聞いた

                                                                                ではそもそも“1bit”とは何が1bitなのか、どうして1bitになるとGPUが不要になるのか。LLMでGPUが不要になるとどんな世界が訪れるのか。オーダーメイドによるAIソリューション「カスタムAI」の開発・提供を行うLaboro.AIの椎橋徹夫CEOに聞いた。 プロフィール:椎橋徹夫 米国州立テキサス大学理学部卒業後、ボストンコンサルティンググループに参画。消費財や流通など多数のプロジェクトに参画した後、社内のデジタル部門の立ち上げに従事。その後、東大発AI系のスタートアップ企業に創業4人目のメンバーとして参画。AI事業部の立ち上げをリード。東京大学工学系研究科松尾豊研究室にて「産学連携の取り組み」「データサイエンス領域の教育」「企業連携の仕組みづくり」に従事。同時に東大発AIスタートアップの創業に参画。2016年にLaboro.AIを創業し、代表取締役CEOに就任。 ──まず、1bi

                                                                                  生成AIでGPUがいらなくなる? 業界を揺るがす「1ビットLLM」とは何か、識者に聞いた
                                                                                • 「2025~2026年にはAIモデルの学習費用が1兆円を超えて人類に脅威をもたらすAIが登場する」とAI企業・AnthropicのCEOが予言

                                                                                  AIの開発にはGPUやAIアクセラレータからなる大規模な計算資源が必要です。AI企業Anthropicのダリオ・アモデイCEOはAIモデルの学習費用が今後数年で約100億ドル(約1兆5400円)に達すると推測しています。 Transcript: Ezra Klein Interviews Dario Amodei - The New York Times https://www.nytimes.com/2024/04/12/podcasts/transcript-ezra-klein-interviews-dario-amodei.html 大規模言語モデルやマルチモーダルAIモデルの学習には、大量のGPUやAIアクセラレータが必要です。NVIDIAやAMD、Intelといった半導体企業はAIの学習を効率的に実行できるチップの開発を進めていますが、それらのAI特化チップは性能の高さと引き換

                                                                                    「2025~2026年にはAIモデルの学習費用が1兆円を超えて人類に脅威をもたらすAIが登場する」とAI企業・AnthropicのCEOが予言