最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
筆者の環境で、LM StudioでCommand R+を動作させている様子。会話相手は自作キャラクターの「明日来子（あすきこ）さん」 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。これが体験できるようになったのは、LM Studioに代表されるローカルLLMを動かすためのアプリ環境が整ってきたためです。今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ、一気にあわただしくなってきました。 導入が難しかったローカルLLM、「LM Studio」で簡単に Command R+を試すのに使っているのが、LLMの主要モデルを実行するための統
かつてNVIDIAを救った日本人「入交昭一郎」とは？
2024年2月に発表された決算情報ではNVIDIAの年間売上高は600億ドル(約9兆3500億円)で、時価総額2兆ドル(約312兆円)を超える巨大企業となっていますが、そんなNVIDIAでも創業直後は貧弱な企業であり、かつて入交昭一郎という日本人に救われた歴史があるとWall Street Journalが報じました。 The 84-Year-Old Man Who Saved Nvidia - WSJ https://www.wsj.com/business/nvidia-stock-jensen-huang-sega-irimajiri-chips-ai-906247db 入交昭一郎 - Wikipedia https://ja.wikipedia.org/wiki/%E5%85%A5%E4%BA%A4%E6%98%AD%E4%B8%80%E9%83%8E 入交氏は大学卒業後に本田技研
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
ミニ脳16個入「バイオプロセッサ」 消費電力通常の100万分の1、APIでアクセス可能、研究者向けサブスクも【研究紹介】 レバテックラボ（レバテックLAB）
スイスのバイオコンピューティングスタートアップ企業「FinalSpark」の研究者らが発表した論文「Open and remotely accessible Neuroplatform for research in wetware computing」は、16個のヒト脳オルガノイド（人間の脳の幹細胞を培養して作られる小さな脳のような構造体）を組み込んだバイオプロセッサを提案した研究報告である。同社のプレスリリースによると、このプロセッサは、従来のデジタルプロセッサの100万分の1以下の消費電力を実現できるという特徴を持つ。 ▲電極と接続されている脳オルガノイド このプロセッサには、生体組織であるヒト脳オルガノイドを収容する4つの多電極アレイ（MEA）が使用されている。 各MEAには4つのオルガノイドが収容されているため、計16個の脳オルガノイドが組み込まれている。各オルガノイドは、電気刺
前回の記事では、JavaScript の実行エンジン V8 の JIT 出力コードを読んでみました。記事は M1 Mac 上で動かした結果でしたので、ARM アーキテクチャのアセンブラを読むことになりました。 さてそんな ARM アーキテクチャですが、最近の ARM には FJCVTZS という JavaScript 専用の機械語命令があるのをご存知でしょうか？CPU に、特定の言語（それもコンパイラを持たない JavaScript）専用の命令があると知ったとき、私は大いに驚きました（過去にも Jazelle みたいなものはありましたが） 今回は、この FJCVTZS 命令について、実際にどれだけ効果があるのか、V8 をビルドしながら調べてみましょう。 FJCVTZS 命令とは？ FJCVTZS 命令は、Arm v8.3 から導入された JSCVT 命令の一つで、JavaScript の言
【シリコンバレー=渡辺直樹】米エヌビディアの時価総額が5日、3兆ドル（約468兆円）を突破し、米アップルを抜いて米マイクロソフトに続く世界2位となった。3兆ドルの大台に乗るのは史上3社目。生成AI（人工知能）の開発や処理に使う半導体の需要拡大への期待から株価は上場来高値を更新し続けている。エヌビディアの株価は5日、終値で前日比5%上昇し、QUICK・ファクトセットによると、時価総額は3兆118
「ビデオカードがある時にマザーボード側の映像出力に繋ぐ」のは 今でもNGなのか？ PC初心者がデスクトップPCを設置する時にやりがちなミスの1つとして、「ビデオカードがあるのにマザーボード側（オンボード側）にディスプレーを接続する」というものがある。 これをやってしまうとディスプレーに映像が出ない、あるいは映像が出たとしてもゲームのレンダリングがCPU内蔵GPUで行われてしまい、ビデオカードは休んだままになってしまう、というものだ。こういったトラブルを防ぐため、ビデオカードを装着したBTOメーカー製PCではオンボード側の映像出力がシールで封印されていることもある。 ビデオカードを搭載したBTOメーカー製PCでは、マザーボード側のHDMIやDisplayPort出力に使用不可であることを知らせるシールが貼られていることも多い しかし、このような古の教えはハードやソフトの発展で乗り越えられるよ
NVIDIAが2024年5月15日に、経済産業省の助成や国内の主要クラウド企業との協力により、日本の生成AIインフラの構築を推進し、自国のデータを自国のAIで活用する「ソブリンAI」の基盤作りを強化していくこと発表しました。 NVIDIA to Help Elevate Japan’s Sovereign AI Efforts Through Generative AI Infrastructure Build-Out | NVIDIA Blog https://blogs.nvidia.com/blog/japan-sovereign-ai/ NVIDIA、生成AIインフラ構築をとおして日本のソブリンAIの取り組みを支援 | NVIDIAのプレスリリース https://prtimes.jp/main/html/rd/p/000000466.000012662.html NVIDIAは今
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 (1/5)
【西川和久の不定期コラム】 2万円台で手乗りサイズ、N100より速い！N97搭載ミニPC「GMKtec NucBox G5」
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
Intelの新CPU「Lunar Lake」は、「これまでのx86プロセッサであり得なかったような電力効率」
ARM に存在する JavaScript 専用命令「FJCVTZS」を追う（ついでに V8 をビルドする）
NVIDIA、時価総額Apple抜き世界2位 3兆ドル超え - 日本経済新聞
いまどきのゲーミングPCでマザー側の映像出力に繋ぐのはあり/なし？古の禁忌に踏み込む (1/6)
NVIDIA主導で日本が「ソブリンAI」先進国に、AI立国に必須とNVIDIAが提唱するソブリンAIとは一体何なのか？
「Copilot+ PC」とはなにか マイクロソフトが狙うUX変化とWindowsの再設計
【西川和久の不定期コラム】 USB4接続のGeForce RTX 3090が突然認識されなくなったので、OCuLinkで復活させた話
【大原雄介の半導体業界こぼれ話】 「Zilog Z80」の生産終了と、Intel Baseline Profile登場について思うこと
【特集】 CPUやGPUの発熱や電力をカットする方法
