最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
かつてNVIDIAを救った日本人「入交昭一郎」とは？
2024年2月に発表された決算情報ではNVIDIAの年間売上高は600億ドル(約9兆3500億円)で、時価総額2兆ドル(約312兆円)を超える巨大企業となっていますが、そんなNVIDIAでも創業直後は貧弱な企業であり、かつて入交昭一郎という日本人に救われた歴史があるとWall Street Journalが報じました。 The 84-Year-Old Man Who Saved Nvidia - WSJ https://www.wsj.com/business/nvidia-stock-jensen-huang-sega-irimajiri-chips-ai-906247db 入交昭一郎 - Wikipedia https://ja.wikipedia.org/wiki/%E5%85%A5%E4%BA%A4%E6%98%AD%E4%B8%80%E9%83%8E 入交氏は大学卒業後に本田技研
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
NVIDIA主導で日本が「ソブリンAI」先進国に、AI立国に必須とNVIDIAが提唱するソブリンAIとは一体何なのか？
NVIDIAが2024年5月15日に、経済産業省の助成や国内の主要クラウド企業との協力により、日本の生成AIインフラの構築を推進し、自国のデータを自国のAIで活用する「ソブリンAI」の基盤作りを強化していくこと発表しました。 NVIDIA to Help Elevate Japan’s Sovereign AI Efforts Through Generative AI Infrastructure Build-Out | NVIDIA Blog https://blogs.nvidia.com/blog/japan-sovereign-ai/ NVIDIA、生成AIインフラ構築をとおして日本のソブリンAIの取り組みを支援 | NVIDIAのプレスリリース https://prtimes.jp/main/html/rd/p/000000466.000012662.html NVIDIAは今
「皆さんがスマートフォンで何かを検索するだけでデータセンターのコンピューターが働いている」 国内の電力需要は減少傾向にありましたが、生成AIの急速な普及などに伴い、一転して増加が見込まれています。 こうした中、国の中長期的なエネルギー政策の指針「エネルギー基本計画」の見直しの議論が始まりました。 目次 データセンター建設相次ぐ なぜ？ 生成AIの急速な普及 電力需要に影響も
Pythonのように書けてGPU上で並列処理できる新プログラミング言語「Bend」、2D画像→3Dを高精度生成するGoogle「CAT3D」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第47回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ GPU上でネイティブ動作する並列処理が可能な新プログラミング言語「Bend」とランタイムシステム「HVM2」 2D画像から3Dコンテンツを生成する「CAT3D」をGoogleが開発 大規模言語モデルは追加学習や新知識で幻覚生成が増加。Googleなどが調査 画像とテキストを使った長文生成が得意なAIモデル「Chameleon」をMetaが開発 Transformerを超える「Mamba」は視覚認識タスクに必要か？ 開発した「MambaOut」モデルで検証 GPU上でネイティブ動作する並列
Intel Core Ultra搭載のMSI初のポータブルゲーミングPC「Claw A1M」のベンチマーク結果をまとめてみた
7インチのフルHDディスプレイ搭載ボディに、CPUとしてIntelのCore Ultraプロセッサを採用した、MSIとして初のポータブルゲーミングPC「Claw A1M」が登場したので、フォトレビューに続いて、いろいろなベンチマークを行ってみました。 MSI初のポータブルゲーミングPC「Claw A1M」誕生！ https://jpstore.msi.com/html/page74.html 端末の外観情報などは以下のフォトレビュー記事を参考にしてください。 7インチ画面にUltra 7プロセッサ搭載のポータブルゲーミングPC「Claw A1M」フォトレビュー - GIGAZINE ◆スペック確認 まずは「CPU-Z」でCPU情報を確認。搭載CPUは「Intel Core Ultra 7 155H」で、16コア・22スレッドです。 続いてGPU-ZでGPU情報を確認。CPU内蔵GPUの「I
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
生成AI“急速普及”電力需要が増加？どうなる今後のエネルギー | NHK