最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
かつてNVIDIAを救った日本人「入交昭一郎」とは？
2024年2月に発表された決算情報ではNVIDIAの年間売上高は600億ドル(約9兆3500億円)で、時価総額2兆ドル(約312兆円)を超える巨大企業となっていますが、そんなNVIDIAでも創業直後は貧弱な企業であり、かつて入交昭一郎という日本人に救われた歴史があるとWall Street Journalが報じました。 The 84-Year-Old Man Who Saved Nvidia - WSJ https://www.wsj.com/business/nvidia-stock-jensen-huang-sega-irimajiri-chips-ai-906247db 入交昭一郎 - Wikipedia https://ja.wikipedia.org/wiki/%E5%85%A5%E4%BA%A4%E6%98%AD%E4%B8%80%E9%83%8E 入交氏は大学卒業後に本田技研
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
ミニ脳16個入「バイオプロセッサ」 消費電力通常の100万分の1、APIでアクセス可能、研究者向けサブスクも【研究紹介】 レバテックラボ（レバテックLAB）
スイスのバイオコンピューティングスタートアップ企業「FinalSpark」の研究者らが発表した論文「Open and remotely accessible Neuroplatform for research in wetware computing」は、16個のヒト脳オルガノイド（人間の脳の幹細胞を培養して作られる小さな脳のような構造体）を組み込んだバイオプロセッサを提案した研究報告である。同社のプレスリリースによると、このプロセッサは、従来のデジタルプロセッサの100万分の1以下の消費電力を実現できるという特徴を持つ。 ▲電極と接続されている脳オルガノイド このプロセッサには、生体組織であるヒト脳オルガノイドを収容する4つの多電極アレイ（MEA）が使用されている。 各MEAには4つのオルガノイドが収容されているため、計16個の脳オルガノイドが組み込まれている。各オルガノイドは、電気刺
前回の記事では、JavaScript の実行エンジン V8 の JIT 出力コードを読んでみました。記事は M1 Mac 上で動かした結果でしたので、ARM アーキテクチャのアセンブラを読むことになりました。 さてそんな ARM アーキテクチャですが、最近の ARM には FJCVTZS という JavaScript 専用の機械語命令があるのをご存知でしょうか？CPU に、特定の言語（それもコンパイラを持たない JavaScript）専用の命令があると知ったとき、私は大いに驚きました（過去にも Jazelle みたいなものはありましたが） 今回は、この FJCVTZS 命令について、実際にどれだけ効果があるのか、V8 をビルドしながら調べてみましょう。 FJCVTZS 命令とは？ FJCVTZS 命令は、Arm v8.3 から導入された JSCVT 命令の一つで、JavaScript の言
【シリコンバレー=渡辺直樹】米エヌビディアの時価総額が5日、3兆ドル（約468兆円）を突破し、米アップルを抜いて米マイクロソフトに続く世界2位となった。3兆ドルの大台に乗るのは史上3社目。生成AI（人工知能）の開発や処理に使う半導体の需要拡大への期待から株価は上場来高値を更新し続けている。エヌビディアの株価は5日、終値で前日比5%上昇し、QUICK・ファクトセットによると、時価総額は3兆118
「ビデオカードがある時にマザーボード側の映像出力に繋ぐ」のは 今でもNGなのか？ PC初心者がデスクトップPCを設置する時にやりがちなミスの1つとして、「ビデオカードがあるのにマザーボード側（オンボード側）にディスプレーを接続する」というものがある。 これをやってしまうとディスプレーに映像が出ない、あるいは映像が出たとしてもゲームのレンダリングがCPU内蔵GPUで行われてしまい、ビデオカードは休んだままになってしまう、というものだ。こういったトラブルを防ぐため、ビデオカードを装着したBTOメーカー製PCではオンボード側の映像出力がシールで封印されていることもある。 ビデオカードを搭載したBTOメーカー製PCでは、マザーボード側のHDMIやDisplayPort出力に使用不可であることを知らせるシールが貼られていることも多い しかし、このような古の教えはハードやソフトの発展で乗り越えられるよ
NVIDIAが2024年5月15日に、経済産業省の助成や国内の主要クラウド企業との協力により、日本の生成AIインフラの構築を推進し、自国のデータを自国のAIで活用する「ソブリンAI」の基盤作りを強化していくこと発表しました。 NVIDIA to Help Elevate Japan’s Sovereign AI Efforts Through Generative AI Infrastructure Build-Out | NVIDIA Blog https://blogs.nvidia.com/blog/japan-sovereign-ai/ NVIDIA、生成AIインフラ構築をとおして日本のソブリンAIの取り組みを支援 | NVIDIAのプレスリリース https://prtimes.jp/main/html/rd/p/000000466.000012662.html NVIDIAは今
AI時代に一人勝ち。NVIDIAの「CUDA」がIntelやAppleを蹴散らし業界の“実質的なスタンダード”になった背景を中島聡が徹底解説 - まぐまぐニュース！
空前のAIブームの中にあって、その開発の現場で「一人勝ち」とも言うべき圧倒的なシェアを誇っているNvidia（エヌビディア）のGPU向け開発環境「CUDA」。IntelやAppleといったライバルたちを尻目に、いかにしてCUDAはトップに登り詰めたのでしょうか。今回のメルマガ『週刊 Life is beautiful』では世界的エンジニアとして知られる中島聡さんが、CUDA誕生の経緯から業界の「事実上の標準」となるまでを詳しく解説。さらにMicrosoftが5月20日に発表した「Copilot+PC」に関して、中島さんが注目したポイントを記しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです／原題：NvidiaのCUDAが今の地位を築いた経緯 プロフィール：中島聡（なかじま・さとし） ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシ
「皆さんがスマートフォンで何かを検索するだけでデータセンターのコンピューターが働いている」 国内の電力需要は減少傾向にありましたが、生成AIの急速な普及などに伴い、一転して増加が見込まれています。 こうした中、国の中長期的なエネルギー政策の指針「エネルギー基本計画」の見直しの議論が始まりました。 目次 データセンター建設相次ぐ なぜ？ 生成AIの急速な普及 電力需要に影響も
Pythonのように書けてGPU上で並列処理できる新プログラミング言語「Bend」、2D画像→3Dを高精度生成するGoogle「CAT3D」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第47回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ GPU上でネイティブ動作する並列処理が可能な新プログラミング言語「Bend」とランタイムシステム「HVM2」 2D画像から3Dコンテンツを生成する「CAT3D」をGoogleが開発 大規模言語モデルは追加学習や新知識で幻覚生成が増加。Googleなどが調査 画像とテキストを使った長文生成が得意なAIモデル「Chameleon」をMetaが開発 Transformerを超える「Mamba」は視覚認識タスクに必要か？ 開発した「MambaOut」モデルで検証 GPU上でネイティブ動作する並列
FabyΔ @FABYMETAL4 メタラー兼業投資家。2013年にNVIDIA $NVDA に150万円投資し10年間ガチホ中。2024年、生成AIの登場によるNVIDIA GPU需要増で 150万円→4億円 (280倍) を達成。米国企業分析、決算分析、AIトレンド、特にNVIDIAに関する情報発信をしています。たまにメタル界隈にPOPします🤘 FabyΔ @FABYMETAL4 本日、ガチホ10年目のNVIDIAが150万円→4億円(280倍)を達成しました。NVIDIAには感謝の一言に尽きます。ありがとう $NVDA pic.twitter.com/WEnJm1Ks8K x.com/fabymetal4/sta… 2024-06-06 05:46:25 FabyΔ @FABYMETAL4 本日、保有10年目のNVIDIAが 円換算で150万円→3億円(200倍)となりました。 先
ベンチマークアプリを提供するGeekbenchのオンラインデータベースに、AppleのM4のベンチマーク結果が投稿されています。それによると、M4のスコアがCPUシングルスレッドの結果においてM4がIntelのCore i9-14900KSを上回ったとのことです。 Incredible Apple M4 benchmarks suggest it is the new single-core performance champ, beating Intel's Core i9-14900KS — results of 3,800+ posted | Tom's Hardware https://www.tomshardware.com/pc-components/cpus/apple-m4-scores-suggest-it-is-the-new-single-core-performan
パスワードレス認証を採用するコンシューマー向けサービスが増えてきたが、まだパスワードから離れられないのが現状だ。ある調査から、最近の「パスワード破り」の手口が見えてきた。 ネットサービスのログイン時に求められるパスワードの入力。パスワードの設定は適度な長さと推測されにくいものを、というのが定石だ。 サービスごとにいちいちパスワードを変更するのも面倒なため、同じパスワードを使い回している人も少なくないだろう（セキュリティ対策上は避けるよう勧告されている）。ただ、1つのサービスでパスワードが流出すると、一気に他のサービスのアカウントも乗っ取られる恐れがある。 悪意あるハッカーたちは、いつでもユーザーのパスワードを手ぐすね引いて狙っている。あるものを活用することで、ハッシュ値化されたパスワードでも容易に解析されてしまう恐れがあるという。 サイバーセキュリティ企業であるHive Systemは20
Intelはイスラエルに大規模な開発・製造拠点を置いていて、南部の都市キルヤット・ガトでは250億ドル(約3兆9300億円)かけて新たな工場を建設する計画が進められていますが、このたび、Intelが建設を中止するよう命令を出したことが明らかになりました。中止の理由としてIntelは「責任ある資本管理」を挙げています。 N12 - אינטל הורתה להפסיק את העבודות במפעל החדש https://www.mako.co.il/news-money/2024_q2/Article-78566163f330091026.htm אינטל העולמית עוצרת את הרחבת המפעל בקריית גת | כלכליסט https://www.calcalist.co.il/calcalistech/article/rjuh4h4rc Intel
Huaweiの新ハイエンドスマホ「Pura 70 Ultra」を試す 制裁下でこの性能は“魔法を使っている”と思わせるほど
Huaweiの新ハイエンドスマホ「Pura 70 Ultra」を試す 制裁下でこの性能は“魔法を使っている”と思わせるほど（1/4 ページ） GalaxyやXiaomiといった新型スマートフォンに沸き立つ中、中国ではHuaweiの最新スマートフォン「Pura 70」シリーズが話題を集めている。Puraシリーズは、従来の「P」シリーズから名称を変更したハイエンド系のシリーズ。 今回、筆者は「Pura 70 Ultra」の実機を入手したので、レビューしよう。今回のレビューは電波法第103条の6の解釈のもと「海外で開通した携帯電話」を持ち込んで確認を行った。 中国製造のKirin 9010を搭載して制裁を回避 十分なパフォーマンスを発揮 まずは、主なスペックを見ていこう。 プロセッサ：HiSilicon Kirin 9010 メモリ：12GB ストレージ：512GB/1TB 画面：6.76型 フ
Apple Silicon MacのCPU E-/P-CoreやGPU、ANE、メモリ使用率、消費電力などを確認できるGo言語で書かれたターミナルベースのモニタリングツール「mactop」がリリース。
Apple Silicon MacのCPU E-/P-Coreや、GPU、消費電力などを確認できるターミナルベースのモニタリングツール「mactop」がリリースされています。詳細は以下から。 Apple Silicon Macでベンチマークや負荷の高いアプリを実行する際、Apple SiliconのCPUやGPU、ANE(Apple Neural Engine)、メモリ使用率、消費電力などを確認したいときがありますが、その用際に便利なターミナルベースのモニタリングツール「mactop」がリリースされています。 mactop is a terminal-based monitoring tool “top” designed to display real-time metrics for Apple Silicon chips. It provides a simple and effic
はじめに GMO NIKKOの吉岡です。 みなさん、生成AIは活用してますか？ ChatGPTに始まり、Claude3やGeminiなど、実用的なAIがどんどん出てきてますね。 自分も使ってはきましたが、課金が気になってしまいます。 これではサービスに組み込むことは難しいですよね。 そのためローカルで動くLLMを追ってきましたが、今年に入って実用的な日本語を返すことができるモデルがいくつか出てきているので、サーバー構成からインストール方法、LLMの起動まで紹介しようと思います。 ローカルLLMを動かす上で一番重要なのはGPUのVRAMです。 LLMは7B、13B、70Bモデルが多いですが、量子化しない場合、必要なVRAM容量は動かすモデルの大体2倍なので、13Bモデルでは26GのVRAMが必要です。 NVIDIAのGPUを使ったCUDAが前提になっているのですが、一般向けでは24Gモデルが
中国製GPUで学習した純中国製LLM「MT-infini-3B」が「Llama3-8B」を超える性能を示し中国単独で高性能AIを開発できることが明らかに
中国に拠点を置くGPUメーカーの「摩爾線程(Moore Threads)」が、自社製GPUを用いて大規模言語モデル「MT-infini-3B」を開発したことを発表しました。MT-infini-3BはNVIDIA製GPUを用いて学習した大規模言語モデルと同等以上の性能を備えているそうです。 摩尔线程携手无问芯穹：基于夸娥千卡智算集群的“MT-infini-3B”大模型实训已完成 | 摩尔线程 https://www.mthreads.com/news/171 アメリカ政府は中国によるAI研究を軍事上の脅威と捉えており、中国に対して高性能半導体の禁輸措置を実施しています。このため中国ではNVIDIAやAMD、Intelなどが開発しているAI研究用チップの開発が困難となっています。 そんな中、Moore Threadsは2023年12月に独自開発のAI研究用GPU「MTT S4000」を発表しま
スモールフォームファクター(SFF)PCは高性能なコンポーネントを小型のケースに詰め込むことで、高性能PCの設置や持ち運びを容易にします。しかし、グラフィックスカードなどのコンポーネントが、小型ケースとの互換性があるのかどうかを調べるのは大きな手間がかかります。そこでNVIDIAが、グラフィックスカードやPCケースのメーカーと協力し、GeForce RTXシリーズがSFF用ケースに適合するのかどうかがすぐに判断できる「SFF-Readyガイドライン」を導入すると発表しました。 コンパクトに構築、大胆にプレイ - SFF 対応 GeForce カードとケースの紹介 | GeForce News | NVIDIA https://www.nvidia.com/ja-jp/geforce/news/small-form-factor-sff-ready/ Build Small. Play Bi
最近、プロセッサに「NPU」と呼ばれる人工知能（AI）処理に特化したユニットが搭載されるのがちょっとしたブーム（？）になっている。このNPUって、GPUなどと何が違うのか、なぜプロセッサに搭載されるようになってきたのか解説しよう。 プロセッサに搭載されている「NPU」って何？ Intelの最新プロセッサ「Core Ultra」には、人工知能（AI）処理に特化した「NPU」が搭載されている。NPUは、スマートフォン向けのプロセッサにも搭載が進んでいる。ところで、このNPUはCPUやGPUと何が違うのだろうか？ 写真は、Intelのプレスリリース「AI PCの新時代の到来を告げるインテル Core Ultra プロセッサー」のCore Ultraプロセッサーの写真を使って、「CPU」「GPU」「NPU」の文字を載せたもの。 今回のお題は「NPU」である。出だしから注釈になってしまうが、NPUと
生成AI向けの半導体を手がけるアメリカの半導体大手、エヌビディアの株価が上昇し、企業の価値を示す時価総額が5日、初めて3兆ドルを超え、IT大手のアップルを抜いて世界2位となりました。AI需要の高まりへの期待が背景にあります。 5日のニューヨーク株式市場では生成AIの利用の急速な拡大でAI需要が高まっていることへの期待からハイテク関連銘柄に買い注文が膨らみました。 中でも生成AI向けの半導体を手がけ、業績が好調なエヌビディアの株価の終値は、1224ドル40セントと前日と比べて5.1％の大幅な上昇となりました。 このため、企業の価値を示す時価総額は初めて3兆ドル、日本円で468兆円を超えてアップルを抜き、マイクロソフトに次いで世界2位となりました。 時価総額が3兆ドルを超えるのはアップルとマイクロソフトに次いで史上3社目です。 また、ハイテク関連銘柄の多いナスダックの株価指数は1.9％の大幅な
ThunderboltでファイルやデスクトップをPC同士で共有する「Thunderbolt Share」をIntelが発表
ThunderboltでファイルやデスクトップをPC同士で共有する「Thunderbolt Share」をIntelが発表 ライター：米田 聡 米国時間2024年5月15日，Intelは，高速インタフェース規格「Thunderbolt 5」または「Thunderbolt 4」を使って，2台のPCでファイルやデスクトップを共有する「Thunderbolt Share」を発表した。できることはLAN経由で行う共有と大差ないが，現行のThunderbolt 4であれば，双方向40Gbpsという超高速インタフェースを使ってファイルやデスクトップを共有できることが大きな特徴だ。 Thunderbolt Shareを利用するには，Thunderbolt 5/4を搭載する2台のPCと，「Thunderbolt Shareアプリ」が必要になる。Thunderbolt Shareアプリは，ライセンスを受けた
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【西川和久の不定期コラム】 2万円台で手乗りサイズ、N100より速い！N97搭載ミニPC「GMKtec NucBox G5」
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
Intelの新CPU「Lunar Lake」は、「これまでのx86プロセッサであり得なかったような電力効率」
ARM に存在する JavaScript 専用命令「FJCVTZS」を追う（ついでに V8 をビルドする）
NVIDIA、時価総額Apple抜き世界2位 3兆ドル超え - 日本経済新聞
いまどきのゲーミングPCでマザー側の映像出力に繋ぐのはあり/なし？古の禁忌に踏み込む (1/6)
NVIDIA主導で日本が「ソブリンAI」先進国に、AI立国に必須とNVIDIAが提唱するソブリンAIとは一体何なのか？
「Copilot+ PC」とはなにか マイクロソフトが狙うUX変化とWindowsの再設計
【西川和久の不定期コラム】 USB4接続のGeForce RTX 3090が突然認識されなくなったので、OCuLinkで復活させた話
【大原雄介の半導体業界こぼれ話】 「Zilog Z80」の生産終了と、Intel Baseline Profile登場について思うこと
【特集】 CPUやGPUの発熱や電力をカットする方法
【特集】 PCのグラフィックスはここまで進化した！「トゥームレイダー」を例に小話を挟みながら解説
【笠原一輝のユビキタス情報局】 「Copilot+ PC」のローンチパートナーがQualcommになった背景
Lion CoveとSkymontの詳細が明らかに。Hyper-Threading「非対応」で電力効率爆上げ
生成AI“急速普及”電力需要が増加？どうなる今後のエネルギー | NHK
10年前、150万円で買ったNVIDIA株が4億円になった人の話→「私なら10倍くらいで手放してしまう…」
Lunar Lakeは「x86が効率的ではないという神話を打ち破る」
Apple M4がベンチマーク結果でIntel Core i9-14900KSを破ったという報告
恐るべし、今どきの「パスワード破り」の手口：780th Lap
Intelがイスラエルで行っている4兆円規模の新工場建設計画を中止
AMD新CPUの「Ryzen AI 300」は、12コアCPUとSnapdragon Xを超えるNPUを搭載
【Phi-3-Medium】GPU2台構成でローカルLLMを動かす【Ubuntu24】
AMD、Zen 5採用で16%性能向上の「Ryzen 9000」
【笠原一輝のユビキタス情報局】 ノートPCがより高性能、より長時間駆動へ！Lunar Lakeで40%の電力削減を実現できたワケ
NVIDIAが小型PC対応グラボを分かりやすく示すガイドラインを発表
第288回 人工知能時代には必須か？ 最近、プロセッサに搭載されている「NPU」って何
エヌビディア株価上昇 時価総額 アップルを抜き世界2位に | NHK
【笠原一輝のユビキタス情報局】 Copilot+ PC対応を巡る、CPU大手3社の三つ巴
新旧34種類のGPU(グラフィックボード)性能を一気に比較!! 気になるベンチマーク結果は？ 【新装第1回/通算第13回】現行世代はこれで一段落。今の勢力図を総まとめ text by 加藤 勝明
Arm、従来比36%性能向上のプライムCPUコア「Cortex-X925」
信号送受信のピンが不要なCPU。東大発スタートアップが試作
