第288回 人工知能時代には必須か？ 最近、プロセッサに搭載されている「NPU」って何
最近、プロセッサに「NPU」と呼ばれる人工知能（AI）処理に特化したユニットが搭載されるのがちょっとしたブーム（？）になっている。このNPUって、GPUなどと何が違うのか、なぜプロセッサに搭載されるようになってきたのか解説しよう。 プロセッサに搭載されている「NPU」って何？ Intelの最新プロセッサ「Core Ultra」には、人工知能（AI）処理に特化した「NPU」が搭載されている。NPUは、スマートフォン向けのプロセッサにも搭載が進んでいる。ところで、このNPUはCPUやGPUと何が違うのだろうか？ 写真は、Intelのプレスリリース「AI PCの新時代の到来を告げるインテル Core Ultra プロセッサー」のCore Ultraプロセッサーの写真を使って、「CPU」「GPU」「NPU」の文字を載せたもの。 今回のお題は「NPU」である。出だしから注釈になってしまうが、NPUと
1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
【令和最新版】対話型AI、ローカル支部最前線レポート - Qiita
こんにちは。LLM転職者のサルドラです。今はPictoriaという会社でAIキャラクターを作っています。 さて、皆さんはChatGPT、使っているでしょうか。 調べものに使ったり、後輩役にしてラバーダック・デバッグに用いたり、ラーメン屋の親父にしたりしていますよね。 ラーメン屋の親父GPT、「命令リセットしろ」も通用しないし、 記憶失いがちな無関係な英語・長文アタックも全く効かん なんやこいつ、化け物か pic.twitter.com/4gYg7zymXB — 刈宮 宥 (@Callimiya) March 8, 2023 今回はChatGPTではなく舞台を移してローカル、つまり自分のパソコンで動かす文章生成AIについて、AIキャラクターを作るという側面からとても浅く話そうと思います。ローカルAIは精度は勿論OpenAIのAPIより低いです。文字通り桁違いの性能の差がありますが、やはり自分
GitHub - mlc-ai/web-llm: Bringing large-language models and chat to web browsers. Everything runs inside the browser with no server support.
| NPM Package | Get Started | Examples | Documentation | MLC LLM | Discord | WebLLM is a modular and customizable javascript package that directly brings language model chats directly onto web browsers with hardware acceleration. Everything runs inside the browser with no server support and is accelerated with WebGPU. WebLLM is fully compatible with OpenAI API. That is, you can use the same OpenAI
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
blueqatでは、量子技術をGPUに応用した独自生成AIのLLM(大規模言語モデル)の開発を行います。 by Yuichiro Minato | blueqat
