最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
筆者の環境で、LM StudioでCommand R+を動作させている様子。会話相手は自作キャラクターの「明日来子（あすきこ）さん」 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。これが体験できるようになったのは、LM Studioに代表されるローカルLLMを動かすためのアプリ環境が整ってきたためです。今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ、一気にあわただしくなってきました。 導入が難しかったローカルLLM、「LM Studio」で簡単に Command R+を試すのに使っているのが、LLMの主要モデルを実行するための統
なぜ Apple が M4 をいきなり発表したのか? TSMC ロードマップとローカルAI時代の幕開け - 狐の王国
昨晩、Apple が新型 iPad Pro と iPad Air を発表した。一部で予想されていた通り、M3 はスキップして M4 が搭載された。Air も M3 ではなく M2 が搭載された。これは Apple Silicon を製造する TSMC の動向をある程度追いかけてる人にとっては、とても合点がいく展開だったと思う。 www.apple.com Apple Silicon でも TSMC の N3B と呼ばれる 3nm 世代を使って製造されるのは iPhone 15 Pro に搭載される A17 Pro だけになるんじゃないかと考えていた。なぜなら TSMC N3B はたいへん歩留まりが悪い、つまり不良品率が高くて製造コストが高いと報じられていたからだ。それを改善した N3E もすでに動いていて、Apple 製品以外はこちらを使うことになるだろうとも報じられていた。 実際は Ap
かつてNVIDIAを救った日本人「入交昭一郎」とは？
2024年2月に発表された決算情報ではNVIDIAの年間売上高は600億ドル(約9兆3500億円)で、時価総額2兆ドル(約312兆円)を超える巨大企業となっていますが、そんなNVIDIAでも創業直後は貧弱な企業であり、かつて入交昭一郎という日本人に救われた歴史があるとWall Street Journalが報じました。 The 84-Year-Old Man Who Saved Nvidia - WSJ https://www.wsj.com/business/nvidia-stock-jensen-huang-sega-irimajiri-chips-ai-906247db 入交昭一郎 - Wikipedia https://ja.wikipedia.org/wiki/%E5%85%A5%E4%BA%A4%E6%98%AD%E4%B8%80%E9%83%8E 入交氏は大学卒業後に本田技研
カリフォルニア州クパティーノ Appleは本日、驚くほど薄くて軽いデザインで、持ち運びやすさとパフォーマンスを次のレベルへ引き上げる、革新的な新しいiPad Proを発表しました。シルバーとスペースブラックの仕上げが用意されている新しいiPad Proは、広々とした13インチのモデルと極めて持ち運びやすい11インチのモデルの2つのサイズで提供します。どちらのサイズも、世界で最も先進的なディスプレイである、最先端のタンデムOLEDテクノロジーを採用した新しい画期的なUltra Retina XDRディスプレイを搭載し、驚くべき視覚体験を提供します。新しいiPad Proは、次世代のAppleシリコンである新しいM4チップによって実現し、パフォーマンスと機能が飛躍的に進化しています。M4はまったく新しいディスプレイエンジンを搭載し、Ultra Retina XDRディスプレイの精度、色、輝度を
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
「ビデオカードがある時にマザーボード側の映像出力に繋ぐ」のは 今でもNGなのか？ PC初心者がデスクトップPCを設置する時にやりがちなミスの1つとして、「ビデオカードがあるのにマザーボード側（オンボード側）にディスプレーを接続する」というものがある。 これをやってしまうとディスプレーに映像が出ない、あるいは映像が出たとしてもゲームのレンダリングがCPU内蔵GPUで行われてしまい、ビデオカードは休んだままになってしまう、というものだ。こういったトラブルを防ぐため、ビデオカードを装着したBTOメーカー製PCではオンボード側の映像出力がシールで封印されていることもある。 ビデオカードを搭載したBTOメーカー製PCでは、マザーボード側のHDMIやDisplayPort出力に使用不可であることを知らせるシールが貼られていることも多い しかし、このような古の教えはハードやソフトの発展で乗り越えられるよ
NVIDIAが2024年5月15日に、経済産業省の助成や国内の主要クラウド企業との協力により、日本の生成AIインフラの構築を推進し、自国のデータを自国のAIで活用する「ソブリンAI」の基盤作りを強化していくこと発表しました。 NVIDIA to Help Elevate Japan’s Sovereign AI Efforts Through Generative AI Infrastructure Build-Out | NVIDIA Blog https://blogs.nvidia.com/blog/japan-sovereign-ai/ NVIDIA、生成AIインフラ構築をとおして日本のソブリンAIの取り組みを支援 | NVIDIAのプレスリリース https://prtimes.jp/main/html/rd/p/000000466.000012662.html NVIDIAは今
コードなしでWeb3コンテンツなどを開発することができるプラットフォーム・thirdwebの創設者であるadammaj氏が、「経験なしで2週間でゼロからGPUを構築した」と報告しています。 I've spent the past ~2 weeks building a GPU from scratch with no prior experience. It was way harder than I expected. Progress tracker in thread (coolest stuff at the end)👇 pic.twitter.com/VDJHnaIheb— adammaj (@MajmudarAdam) ◆ステップ1：GPUアーキテクチャの基礎を学ぶ adammaj氏はまず、最新のGPUがアーキテクチャレベルでどのように機能しているのかを理解しようとしたそうで
Supercomputing Contest 2013/GPUプログラミング資料 - Supercomputing Programing Contest Official Site
2023-09-13 SupercomputingContest2023 2023-09-06 Supercomputing Contest News News/sc230906 2023-09-01 News/sc230830 2023-08-28 News/sc230828 SupercomputingContest2023/本選結果 2023-08-01 MenuBar 2023-06-29 News/sc230629 SupercomputingContest2023/予選結果 2023-06-12 SupercomputingContest2023/予選・認定問題Ｑ＆Ａ 2023-06-01 SupercomputingContest2023/問題および関連ファイル群更新履歴 2023-05-31 News/sc230531 2023-05-30 News/sc230530 20
1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
「皆さんがスマートフォンで何かを検索するだけでデータセンターのコンピューターが働いている」 国内の電力需要は減少傾向にありましたが、生成AIの急速な普及などに伴い、一転して増加が見込まれています。 こうした中、国の中長期的なエネルギー政策の指針「エネルギー基本計画」の見直しの議論が始まりました。 目次 データセンター建設相次ぐ なぜ？ 生成AIの急速な普及 電力需要に影響も
Pythonのように書けてGPU上で並列処理できる新プログラミング言語「Bend」、2D画像→3Dを高精度生成するGoogle「CAT3D」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第47回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ GPU上でネイティブ動作する並列処理が可能な新プログラミング言語「Bend」とランタイムシステム「HVM2」 2D画像から3Dコンテンツを生成する「CAT3D」をGoogleが開発 大規模言語モデルは追加学習や新知識で幻覚生成が増加。Googleなどが調査 画像とテキストを使った長文生成が得意なAIモデル「Chameleon」をMetaが開発 Transformerを超える「Mamba」は視覚認識タスクに必要か？ 開発した「MambaOut」モデルで検証 GPU上でネイティブ動作する並列
新型「iPad Pro」がM3チップをスキップした理由 現地でM4チップ搭載モデルと「iPad Air」に触れて驚いたこと
新型「iPad Pro」がM3チップをスキップした理由 現地でM4チップ搭載モデルと「iPad Air」に触れて驚いたこと：本田雅一のクロスオーバーデジタル（1/6 ページ） Appleが行った新しいiPadシリーズの発表は、実に多くの情報を含んだものだった。その全体像は、発表された製品のレポート記事にある通りだ。 →iPadに“史上最大”の変化 「Appleスペシャルイベント」発表内容まとめ 発表に伴うスペシャルイベントは米国のニューヨーク、イギリスのロンドン、そして中国の上海（翌日開催）の世界3拠点で行われる大規模なものになった。事前のうわさ通り「iPad Pro」が刷新された他、M2チップを搭載した上で13インチモデルも追加された「iPad Air」、そして日本では1万円値下げされた「iPad（第10世代）」など、iPadに焦点を絞ったとは思えないほどに“盛りだくさん”だったといえる
【シリコンバレー=山田遼太郎】米半導体大手エヌビディアが22日発表した2024年2〜4月期決算は純利益が前年同期と比べ7.3倍の148億8100万ドル（約2兆3300億円）、売上高が同3.6倍の260億4400万ドルだった。市場予想を上回り、人工知能（AI）向け半導体の需要の強さを示した。日米などの株式市場で半導体関連銘柄の押し上げ要因になりそうだ。市場予想は24年2〜4月期の売上高が246億
インストール不要でLlama 3やMistralなどオープンソースLLMをブラウザで動かせるチャットボット「Secret Llama」が登場
Llama 3やMistral-7Bといったオープンソースの大規模言語モデル(LLM)をサポートし、WebGPUを使ってブラウザ上で完全に動作するチャットボット「Secret Llama」が公開されています。 Secret Llama https://secretllama.com/ GitHub - abi/secret-llama: Fully private LLM chatbot that runs entirely with a browser with no server needed. Supports Mistral and LLama 3. https://github.com/abi/secret-llama 実際にSecret LlamaのデモサイトでLlama 3を動作させて会話してみたところが以下のムービー。 大規模言語モデルを完全にブラウザで動作できる「Secr
NVIDIA製ワークステーションGPU搭載＆メモリを簡単に交換できるノートPC「ThinkPad P1 Gen 7」をLenovoが発表
Lenovoが2024年4月23日にモバイルワークステーション「ThinkPad P1 Gen 7」を発表しました。ThinkPad P1 Gen 7はLPCAMM2規格のメモリを搭載しており、簡単にメモリを交換できるのが特徴です。 Lenovo Unveils Its New AI-Ready ThinkPad P1 Gen 7 Mobile Workstation - Lenovo StoryHub https://news.lenovo.com/pressroom/press-releases/lenovo-unveils-its-new-ai-ready-thinkpad-p1-gen-7-mobile-workstation/ ThinkPad P1 Gen 7はCPUにIntel Core Ultraを採用し、GPUはゲーミング向けのNVIDIA GeForce RTX 40シ
Stable Diffusionを代表とする画像生成AIにおいて、生成スピードを上げるにはより強力なGPUが必要だ。GeForceならRTX 4090のような最強のGPUが使えればいいが、誰もが手にできる価格とは言い難い。 となればビデオカードを複数枚使用してStable Diffusionの生成スピードが向上しないだろうか？ と考えるのは自然な流れだが、今のStable Diffusionは複数のGPUを協調させて処理する機能は搭載されていない。 しかし、Stable Diffusion（とAutomatic 1111）をGPUごとに紐付けて起動することで、ビデオカードの数だけ並行して作業を進めることができる。玄人志向の製品紹介ページには、まさにそういった記述が存在する。 玄人志向公式サイトの製品紹介ページには、複数のビデオカードを使うとStable Diffusionの生成速度がほぼ倍
【検閲なし】GPUで生成するローカルAIチャット環境と小説企画＋執筆用ゴールシークプロンプトで叡智小説生成最強に見える｜カガミカミ水鏡👯
この記事では日本語小説に強いローカルLLM環境を簡単構築できるEasyLightChatAssistantの紹介と、論理破綻が少ない効率的な小説生成を促す(と個人的には思っている)AIチャット用プロンプトの公開をしていきます。このコンテンツは主に官能小説をベースに語りますので、年齢制限などお住まいの国家地域のレーティングに従ってお読みください。 どうもこんにちは、休日に「生成AIなんでも展示会」というイベントを知って寝てからいくかーと思って起きて行こうと思ったら当日参加不可イベントだったことを知ったカガミカミ水鏡です。そうよ鉄郎……私は計画性がない女…… ところでエロ小説が大好きな皆さん(直球)、カガミカミ水鏡さんという方はご存知ですか？ 生成AIが頭角を表すはるか以前の2015年からpixivの片隅できしょいジャンルの小説を投稿してるエロSS書きです(猫耳の奴などは2011年にbbspi
GitHub - HigherOrderCO/Bend: A massively parallel, high-level programming language
Bend is a massively parallel, high-level programming language. Unlike low-level alternatives like CUDA and Metal, Bend has the feeling and features of expressive languages like Python and Haskell, including fast object allocations, higher-order functions with full closure support, unrestricted recursion, even continuations. Yet, it runs on massively parallel hardware like GPUs, with near-linear sp
Intelが2023年12月に正式発表した第14世代CoreプラットフォームのノートPC向けプロセッサ「Core Ultra」は、2023年9月に発表されたMeteor Lakeアーキテクチャがベースになっています。そんなCore UltraにはAI処理に特化したニューラルプロセッシングユニット(NPU)が搭載されており、このNPUについて海外メディアのChips and Cheeseが解説しています。 Intel Meteor Lake’s NPU – Chips and Cheese https://chipsandcheese.com/2024/04/22/intel-meteor-lakes-npu/ Core Ultraに搭載されたNPUは「NPU 3720」と呼ばれています。そんなNPU 3720には2つのニューラルコンピューティングエンジン(NCE)タイルが搭載されており、こ
米半導体大手のNVIDIAは2月21日（現地時間）、2024年第1四半期（2024年2月～4月）の決算を発表した。AIの旺盛な需要を追い風に、売上高は前年同期比262％増（約3.6倍）の260億4400万ドルと過去最高だった。純利益は628％増（約7.3倍）の148億8100万ドル（1株当たり5.98ドル、非GAAPでは6.12ドル）だった。 売上高、純利益ともに、アナリスト予測（売上高は246億5000万ドル、非GAAPの純利益は5.59ドル）を大きく上回った。 ジェンセン・ファンCEOは発表文で「次の産業革命が始まった。企業や国がNVIDIAと提携し、1兆ドル規模の従来のデータセンターをアクセラレーテッドコンピューティングに移行し、新種のデータセンター（AIファクトリー）を構築して、AI製品を生産している」と語った。 主力のデータセンター向け半導体の売上高は、AI関連製品が引き続き好調
Zenbook 14 OLEDでみるCore Ultra内蔵GPUのゲーミング性能。内蔵GPUのレイトレ性能はどのくらい？（西川善司のバビンチョなテクノコラム） | テクノエッジ TechnoEdge
テクニカルジャーナリスト。東京工芸大学特別講師。monoAI Technology顧問。IT技術、半導体技術、映像技術、ゲーム開発技術などを専門に取材を続ける。スポーツカー愛好家。 Core Ultra搭載のノートPCのサンプル評価機が我が家にやってきた。 モデル名はASUS「Zenbook 14 OLED UX3405」。 西川Zen司という名前でありながら、ASUSのZenbookを実際に自宅で触るのは初めてのことである（Ry"Zen"の方は初代から愛用してはいたが）。 本機の搭載CPUは、Core Ultra 7 155Hで、ラインアップ上の中間グレードに位置するモデルとなる。 搭載CPUはCore iシリーズではなく、Intelが昨年末から投入を開始した新シリーズ「Core Ultra」を採用。本機は、いわゆるIntelが2024年以降に強力に推進する「AI PC」だ。 わざわざ「
ロボットに新しいスキルを習得させる場合、まずシミュレーション環境でトレーニングを行い、それから現実環境に展開するのが一般的ですが、その際にシミュレーション環境と現実環境のギャップが課題になります。このギャップを埋める作業を大規模言語モデルで自動化する技術「DrEureka」を、NVIDIAやペンシルベニア大学、テキサス大学オースティン校などの研究チームが開発しました。 DrEureka | Language Model Guided Sim-To-Real Transfer https://eureka-research.github.io/dr-eureka/ Nvidia’s DrEureka outperforms humans in training robotics systems | VentureBeat https://venturebeat.com/automation/
Intel Core Ultra搭載のMSI初のポータブルゲーミングPC「Claw A1M」のベンチマーク結果をまとめてみた
7インチのフルHDディスプレイ搭載ボディに、CPUとしてIntelのCore Ultraプロセッサを採用した、MSIとして初のポータブルゲーミングPC「Claw A1M」が登場したので、フォトレビューに続いて、いろいろなベンチマークを行ってみました。 MSI初のポータブルゲーミングPC「Claw A1M」誕生！ https://jpstore.msi.com/html/page74.html 端末の外観情報などは以下のフォトレビュー記事を参考にしてください。 7インチ画面にUltra 7プロセッサ搭載のポータブルゲーミングPC「Claw A1M」フォトレビュー - GIGAZINE ◆スペック確認 まずは「CPU-Z」でCPU情報を確認。搭載CPUは「Intel Core Ultra 7 155H」で、16コア・22スレッドです。 続いてGPU-ZでGPU情報を確認。CPU内蔵GPUの「I
2022年11月にOpen AIがChatGPTを公開して以降、生成AI（人工知能）が爆発的に世界に普及している。その生成AIは、NVIDIAのGPUなどのAI半導体を搭載したAIサーバ上で動作する。 しかし、昨年2023年12月14日に行われた台湾の調査会社TrendForceの予測によれば、AIサーバの出荷台数は思ったほど伸びない。AIサーバが、全てのサーバの出荷台数に占める割合は、2022年に6％、2023年に9％、2024年に13％、2025年に14％、2026年に16％にとどまる予測となっている（図1）。 図1 サーバの出荷台数、AIサーバの割合および、AIチップ用ウエハーの割合［クリックで拡大］ 出所：Joanna Chiao（TrendForce）、「TSMCの世界戦略と2024年半導体ファウンドリ市場の展望」（TreendForce産業フォーカス情報、2023年12月14日
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 (1/5)
Apple、M4チップを搭載した美しく新しいiPad ProとApple Pencil Proを発表
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
いまどきのゲーミングPCでマザー側の映像出力に繋ぐのはあり/なし？古の禁忌に踏み込む (1/6)
NVIDIA主導で日本が「ソブリンAI」先進国に、AI立国に必須とNVIDIAが提唱するソブリンAIとは一体何なのか？
GeForce RTX搭載PCで動くローカルAI「ChatRTX」刷新。画像認識や音声入力に対応
「ゼロからGPU開発」に経験なし＆わずか2週間で成功した猛者が登場
【特集】 PCのグラフィックスはここまで進化した！「トゥームレイダー」を例に小話を挟みながら解説
生成AI“急速普及”電力需要が増加？どうなる今後のエネルギー | NHK
NVIDIA､2〜4月売上高3.6倍 AI半導体「1強」予想上回る - 日本経済新聞
NVIDIAのローカルAI「ChatRTX」、AIモデル追加で画像認識や音声入力が可能に／
Stable Diffusionの生成速度をビデオカード複数枚挿しで“実質的に”爆速にしてみた (1/3)
AI性能を重視したIntel第14世代SoC「Core Ultra」に搭載されたNPUの性能とは？
NVIDIA、AI需要で過去最高の売上高 「次の産業革命が始まった」とファンCEO
GeForce RTX 4070搭載ゲーミングNUCなどASUS NUCが国内展開
ロボットのトレーニングを大規模言語モデルで加速する技術「DrEureka」をNVIDIAなどの研究チームが開発
【VIDEO CARD LABORATORY 新装第1回】Radeon環境のフレームレートを激増させる「AFMF」を深掘りする ハマれば効果は絶大！そのメリットとデメリットを徹底検証 text by 加藤 勝明
【海外ITトピックス】 わずか5カ月で評価額が3倍に GPUクラウドのCodeWeave
NVIDIAのGPU不足は今後も続く ボトルネックはHBMとTSMCの中工程か
Radeon環境のフレームレートを激増させる「AFMF」を深掘りする～後編：レイテンシーに着目する。ハマれば効果は絶大！そのメリットとデメリットを徹底検証 【VIDEO CARD LABORATORY 新装第1回“後編”】 text by 加藤 勝明
