並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 5408件

新着順 人気順

AMDの検索結果1 - 40 件 / 5408件

  • 新型 iPad Proを忘れて、純粋にSoCとしてのM4と「その先」について考えてみる(本田雅一) | テクノエッジ TechnoEdge

    実際、OLEDを採用したノートPCなどの評判をチェックしてみて欲しい。いずれも消費電力の大きさに悩まされている。 しかし、新型iPad Proが過去のアップル製品の中で最も薄い製品として 登場したことは、OLED採用において消費電力が問題にならなかったことを示す。 その理由となっているのがタンデムスタック構造のOLEDだ。 写真:iPod nanoより薄いM4 iPad Pro タンデムスタック構造は決して最新のアイデアではなく、以前からテレビ向けなどで試されてきた技術だ。 ただし、構造的には2枚のOLEDパネルが重ね合わされたようになっているため、2つのプレーンを同期させて駆動する特別なディスプレイ回路が必要となる。M4にはこの新しいディスプレイ回路が搭載されている。 写真:M4のディスプレイエンジンはタンデムOLEDをサポートする これによりアップルがXDRと呼ぶ拡張ダイナミックレンジ

      新型 iPad Proを忘れて、純粋にSoCとしてのM4と「その先」について考えてみる(本田雅一) | テクノエッジ TechnoEdge
    • M4とM3 ProのGeekBench 6スコア比較〜M4のシングルコアが圧倒 - iPhone Mania

      M4のGeekbench 6 MLベンチマークスコア(Core ML Neural Engine)に続き、CPUシングルコアスコアとマルチコアスコア、Metalスコアが確認されました。 M4のシングルコアスコアは、M3 Proを圧倒しています。 M4のGeekbench 6ベンチマークスコア 確認されたM4のGeekbench 6 CPUシングルコアスコアは3,595〜3,810、マルチコアスコアは13,910〜14,677です。 また、Metalスコアは53,549と53,792です。 Geekbench 6ベンチマークテスト実施時の動作周波数 スコア計測時の動作周波数は、最も低いものが4.396MHz、最も高いものが4,412MHzでMLベンチマークスコア計測時の3.93GHzよりも高くなっています。 M2シリーズおよびM3シリーズと比較 今回確認されたM4のGeekbench 6 C

        M4とM3 ProのGeekBench 6スコア比較〜M4のシングルコアが圧倒 - iPhone Mania
      • AMDサーバー向けCPU、売上高シェアが過去最高の33%

          AMDサーバー向けCPU、売上高シェアが過去最高の33%
        • NVIDIA製ワークステーションGPU搭載&メモリを簡単に交換できるノートPC「ThinkPad P1 Gen 7」をLenovoが発表

          Lenovoが2024年4月23日にモバイルワークステーション「ThinkPad P1 Gen 7」を発表しました。ThinkPad P1 Gen 7はLPCAMM2規格のメモリを搭載しており、簡単にメモリを交換できるのが特徴です。 Lenovo Unveils Its New AI-Ready ThinkPad P1 Gen 7 Mobile Workstation - Lenovo StoryHub https://news.lenovo.com/pressroom/press-releases/lenovo-unveils-its-new-ai-ready-thinkpad-p1-gen-7-mobile-workstation/ ThinkPad P1 Gen 7はCPUにIntel Core Ultraを採用し、GPUはゲーミング向けのNVIDIA GeForce RTX 40シ

            NVIDIA製ワークステーションGPU搭載&メモリを簡単に交換できるノートPC「ThinkPad P1 Gen 7」をLenovoが発表
          • Minisforum S100

            MINISFORUM S100 Intel® N100 (4C/4T)UFS 2.1ストレージWiFi 6 & BT 5.2Windows 11 HomePD給電対応・POE対応 インテル® プロセッサー N100S100に搭載されているIntel® N100プロセッサー は、4コアと4スレッドを提供、6MBのキャッシュを備えております。基本クロック速度は1.8GHz、ターボブーストの時最大3.4GHzに達します。グラフィックは内蔵のIntel® UHD Graphicsです。TDPの消費電力は6Wと低くなり、ほかのプロセッサーに比べて省電力で、エネルギー使用効率が高い、ターボ・ブースト性能の解放は最大9Wまでになります。

              Minisforum S100
            • iPad Pro(M4)のCPU構成とRAM容量が2種類〜ストレージで差別化 - iPhone Mania

              iPad Pro(M4)に搭載されたM4は、選択したiPad Proのストレージ容量によってCPU構成とRAM容量が異なります。 そのため、ストレージ容量が256GBおよび512GBモデルと、1TBおよび2TBモデルとで大きな価格差が生じています。 ストレージ容量によるCPUコア構成とRAM容量、価格の比較表 iPad Pro(M4)に搭載されたM4の、ストレージ容量によるCPU構成とRAM容量、Wi-Fiモデルの販売価格は下記の通りです。 ストレージ 容量 256GB/512GB 1TB/2TBCPU構成9コア 高性能コア:3コア 高効率コア:6コア10コア 高性能コア:4コア 高効率コア:6コアRAM容量8GB16GB販売価格 11インチ (税込)168,000円 204,800円272,800円 340,800円販売価格 13インチ (税込)218,800円 254,800円322,

                iPad Pro(M4)のCPU構成とRAM容量が2種類〜ストレージで差別化 - iPhone Mania
              • インストール不要でLlama 3やMistralなどオープンソースLLMをブラウザで動かせるチャットボット「Secret Llama」が登場

                Llama 3やMistral-7Bといったオープンソースの大規模言語モデル(LLM)をサポートし、WebGPUを使ってブラウザ上で完全に動作するチャットボット「Secret Llama」が公開されています。 Secret Llama https://secretllama.com/ GitHub - abi/secret-llama: Fully private LLM chatbot that runs entirely with a browser with no server needed. Supports Mistral and LLama 3. https://github.com/abi/secret-llama 実際にSecret LlamaのデモサイトでLlama 3を動作させて会話してみたところが以下のムービー。 大規模言語モデルを完全にブラウザで動作できる「Secr

                  インストール不要でLlama 3やMistralなどオープンソースLLMをブラウザで動かせるチャットボット「Secret Llama」が登場
                • なぜ Apple が M4 をいきなり発表したのか? TSMC ロードマップとローカルAI時代の幕開け - 狐の王国

                  昨晩、Apple が新型 iPad Pro と iPad Air を発表した。一部で予想されていた通り、M3 はスキップして M4 が搭載された。Air も M3 ではなく M2 が搭載された。これは Apple Silicon を製造する TSMC の動向をある程度追いかけてる人にとっては、とても合点がいく展開だったと思う。 www.apple.com Apple Silicon でも TSMC の N3B と呼ばれる 3nm 世代を使って製造されるのは iPhone 15 Pro に搭載される A17 Pro だけになるんじゃないかと考えていた。なぜなら TSMC N3B はたいへん歩留まりが悪い、つまり不良品率が高くて製造コストが高いと報じられていたからだ。それを改善した N3E もすでに動いていて、Apple 製品以外はこちらを使うことになるだろうとも報じられていた。 実際は Ap

                    なぜ Apple が M4 をいきなり発表したのか? TSMC ロードマップとローカルAI時代の幕開け - 狐の王国
                  • Apple、M4チップを搭載した美しく新しいiPad ProとApple Pencil Proを発表

                    カリフォルニア州クパティーノ Appleは本日、驚くほど薄くて軽いデザインで、持ち運びやすさとパフォーマンスを次のレベルへ引き上げる、革新的な新しいiPad Proを発表しました。シルバーとスペースブラックの仕上げが用意されている新しいiPad Proは、広々とした13インチのモデルと極めて持ち運びやすい11インチのモデルの2つのサイズで提供します。どちらのサイズも、世界で最も先進的なディスプレイである、最先端のタンデムOLEDテクノロジーを採用した新しい画期的なUltra Retina XDRディスプレイを搭載し、驚くべき視覚体験を提供します。新しいiPad Proは、次世代のAppleシリコンである新しいM4チップによって実現し、パフォーマンスと機能が飛躍的に進化しています。M4はまったく新しいディスプレイエンジンを搭載し、Ultra Retina XDRディスプレイの精度、色、輝度を

                      Apple、M4チップを搭載した美しく新しいiPad ProとApple Pencil Proを発表
                    • 1つの大きなLLM(大規模言語モデル)を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog

                      地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM(大規模言語モデル)もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が!」とか言われるようになってまいりました。パラメータ規模で言えば70億~130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい! しかしながら、コンシュマー向けのGPUにおいては、7B

                        1つの大きなLLM(大規模言語モデル)を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
                      • NVIDIAのGPU不足は今後も続く ボトルネックはHBMとTSMCの中工程か

                        2022年11月にOpen AIがChatGPTを公開して以降、生成AI(人工知能)が爆発的に世界に普及している。その生成AIは、NVIDIAのGPUなどのAI半導体を搭載したAIサーバ上で動作する。 しかし、昨年2023年12月14日に行われた台湾の調査会社TrendForceの予測によれば、AIサーバの出荷台数は思ったほど伸びない。AIサーバが、全てのサーバの出荷台数に占める割合は、2022年に6%、2023年に9%、2024年に13%、2025年に14%、2026年に16%にとどまる予測となっている(図1)。 図1 サーバの出荷台数、AIサーバの割合および、AIチップ用ウエハーの割合[クリックで拡大] 出所:Joanna Chiao(TrendForce)、「TSMCの世界戦略と2024年半導体ファウンドリ市場の展望」(TreendForce産業フォーカス情報、2023年12月14日

                          NVIDIAのGPU不足は今後も続く ボトルネックはHBMとTSMCの中工程か
                        • 【海外ITトピックス】 わずか5カ月で評価額が3倍に GPUクラウドのCodeWeave

                            【海外ITトピックス】 わずか5カ月で評価額が3倍に GPUクラウドのCodeWeave
                          • Intel第13~14世代CPUが破損・劣化する不具合について、Intelの新たな声明 | ニッチなPCゲーマーの環境構築Z

                            事の発端Intelの第13世代Core 13000シリーズ(Raptor Lake)や第14世代Core 14000シリーズ(Raptor Lake Refresh)を使用していると、数か月後くらいに突然不安定になって、ゲームがクラッシュしたり、「Out of video memory trying to allocate a rendering resource」(レンダリングリソースを割り当てようとしているビデオメモリが不足しています)というエラーが表示される不具合が発生しています。 この不具合の原因はCPUで、CPUの電力、電流、電圧、動作クロックのいずれかを下げることで不具合を一時的に回避できます。(もちろん、パフォーマンスも下がります) この不具合を根本的に直すにはCPUの交換しかなく、この不具合が発生するということはCPUが破損している・劣化している・ダメージを負っていることを

                              Intel第13~14世代CPUが破損・劣化する不具合について、Intelの新たな声明 | ニッチなPCゲーマーの環境構築Z
                            • AI性能を重視したIntel第14世代SoC「Core Ultra」に搭載されたNPUの性能とは?

                              Intelが2023年12月に正式発表した第14世代CoreプラットフォームのノートPC向けプロセッサ「Core Ultra」は、2023年9月に発表されたMeteor Lakeアーキテクチャがベースになっています。そんなCore UltraにはAI処理に特化したニューラルプロセッシングユニット(NPU)が搭載されており、このNPUについて海外メディアのChips and Cheeseが解説しています。 Intel Meteor Lake’s NPU – Chips and Cheese https://chipsandcheese.com/2024/04/22/intel-meteor-lakes-npu/ Core Ultraに搭載されたNPUは「NPU 3720」と呼ばれています。そんなNPU 3720には2つのニューラルコンピューティングエンジン(NCE)タイルが搭載されており、こ

                                AI性能を重視したIntel第14世代SoC「Core Ultra」に搭載されたNPUの性能とは?
                              • Supercomputing Contest 2013/GPUプログラミング資料 - Supercomputing Programing Contest Official Site

                                2023-09-13 SupercomputingContest2023 2023-09-06 Supercomputing Contest News News/sc230906 2023-09-01 News/sc230830 2023-08-28 News/sc230828 SupercomputingContest2023/本選結果 2023-08-01 MenuBar 2023-06-29 News/sc230629 SupercomputingContest2023/予選結果 2023-06-12 SupercomputingContest2023/予選・認定問題Q&A 2023-06-01 SupercomputingContest2023/問題および関連ファイル群更新履歴 2023-05-31 News/sc230531 2023-05-30 News/sc230530 20

                                • 自社サービスのバックエンドを Go から TypeScript へ切り替えるための整理

                                  切り替える理由 自社の主力製品で利用している技術(WebRTC / WebTransport)がブラウザベースのため TypeScript を利用する Go を採用したのは sqlc が使いたかったという理由 sqlc-gen-typescript が出てきたのでもう Go を使う理由がなくなった 自社サービスチーム全員が Go にまったく興味が無い sqlc 自体は便利 そもそも自社に Go への興味がある人がいない 自社サービスの規模ではボトルネックになるのはデータベースであって言語ではない もしアプリでスケールが必要なときは Rust や Erlang/OTP に切り替えれば良い コネクションプールは PgBouncer を利用すればいい TypeScript からは 1 コネクション 1 接続で問題無い どうせフロントエンドでは TypeScript を書く 自社では React

                                    自社サービスのバックエンドを Go から TypeScript へ切り替えるための整理
                                  • Stable Diffusionの生成速度をビデオカード複数枚挿しで“実質的に”爆速にしてみた (1/3)

                                    Stable Diffusionを代表とする画像生成AIにおいて、生成スピードを上げるにはより強力なGPUが必要だ。GeForceならRTX 4090のような最強のGPUが使えればいいが、誰もが手にできる価格とは言い難い。 となればビデオカードを複数枚使用してStable Diffusionの生成スピードが向上しないだろうか? と考えるのは自然な流れだが、今のStable Diffusionは複数のGPUを協調させて処理する機能は搭載されていない。 しかし、Stable Diffusion(とAutomatic 1111)をGPUごとに紐付けて起動することで、ビデオカードの数だけ並行して作業を進めることができる。玄人志向の製品紹介ページには、まさにそういった記述が存在する。 玄人志向公式サイトの製品紹介ページには、複数のビデオカードを使うとStable Diffusionの生成速度がほぼ倍

                                      Stable Diffusionの生成速度をビデオカード複数枚挿しで“実質的に”爆速にしてみた (1/3)
                                    • ローカルLLM"Phi-3"をWindows CPUで動かす

                                      はじめに おれの名前は樋口恭介。Phi-3というMicrosoftから2024年4月23日にリリースされた小規模LLMが、ギリCPUでも動くうえにGPT-3.5よりも精度が高いということで、触ってみることにした。 まずはGoogle Colab上でCPUを選択し、動きを確認したところ、通常モデルでも20分~30分程度で、かなり精度が高い回答が得られ、4bit量子化モデルだと、2分~3分程度で、それなりの出力が得られることがわかった。 そこで、気分がもりあがってきたので、自身のローカルPC(Windows11、GPUなし、メモリ16GB)でも動かしてみることにした。以下はそのときの試行錯誤のメモである(ほぼ趣味の領域の活動だが、業務時間中に行ったので、こうしてちゃんと会社のブログで手順をまとめているというわけだ)。 何も考えずにやるとけっこうハマりポイントが多かった気がするので、ぜひ参考にし

                                        ローカルLLM"Phi-3"をWindows CPUで動かす
                                      • 米AMD、さえない売上高見通し示す-ゲーム用半導体が需要不振

                                        The Advanced Micro Devices headquarters in Santa Clara, California. Photographer: David Paul Morris/Bloomberg 半導体メーカーの米アドバンスト・マイクロ・デバイセズ(AMD)は4-6月(第2四半期)について、さえない売上高見通しを示した。ゲーム用ハードウエア向け半導体の需要不振が重しとなった。 4月30日の発表資料によると、4-6月期売上高は約57億ドル(約9000億円)の見通し。アナリスト予想平均は57億2000万ドルだった。 1-3月(第1四半期)のゲーム部門売上高は市場予想を大きく下回ったが、同社は人工知能(AI)向けアクセラレーター分野参入による押し上げ効果を期待している。AIアクセラレーターはチャットボットなどAIツール開発を支援するエヌビディア型の半導体。AMDは新製品の

                                          米AMD、さえない売上高見通し示す-ゲーム用半導体が需要不振
                                        • 【検閲なし】GPUで生成するローカルAIチャット環境と小説企画+執筆用ゴールシークプロンプトで叡智小説生成最強に見える|カガミカミ水鏡👯

                                          この記事では日本語小説に強いローカルLLM環境を簡単構築できるEasyLightChatAssistantの紹介と、論理破綻が少ない効率的な小説生成を促す(と個人的には思っている)AIチャット用プロンプトの公開をしていきます。このコンテンツは主に官能小説をベースに語りますので、年齢制限などお住まいの国家地域のレーティングに従ってお読みください。 どうもこんにちは、休日に「生成AIなんでも展示会」というイベントを知って寝てからいくかーと思って起きて行こうと思ったら当日参加不可イベントだったことを知ったカガミカミ水鏡です。そうよ鉄郎……私は計画性がない女…… ところでエロ小説が大好きな皆さん(直球)、カガミカミ水鏡さんという方はご存知ですか? 生成AIが頭角を表すはるか以前の2015年からpixivの片隅できしょいジャンルの小説を投稿してるエロSS書きです(猫耳の奴などは2011年にbbspi

                                            【検閲なし】GPUで生成するローカルAIチャット環境と小説企画+執筆用ゴールシークプロンプトで叡智小説生成最強に見える|カガミカミ水鏡👯
                                          • 「ゼロからGPU開発」に経験なし&わずか2週間で成功した猛者が登場

                                            コードなしでWeb3コンテンツなどを開発することができるプラットフォーム・thirdwebの創設者であるadammaj氏が、「経験なしで2週間でゼロからGPUを構築した」と報告しています。 I've spent the past ~2 weeks building a GPU from scratch with no prior experience. It was way harder than I expected. Progress tracker in thread (coolest stuff at the end)👇 pic.twitter.com/VDJHnaIheb— adammaj (@MajmudarAdam) ◆ステップ1:GPUアーキテクチャの基礎を学ぶ adammaj氏はまず、最新のGPUがアーキテクチャレベルでどのように機能しているのかを理解しようとしたそうで

                                              「ゼロからGPU開発」に経験なし&わずか2週間で成功した猛者が登場
                                            • IntelハイエンドCPUを搭載したPCで頻繁にゲームがクラッシュした問題の原因はマザーボードにあり

                                              IntelのCore i9およびCore i7プロセッサーを使用中のPCユーザーが「一部のゲームでクラッシュが発生する」と報告した件で、原因が「オーバークロックを無理に行うマザーボード」にあることがIntelの調査報告書から判明したと伝えられました。 Intel releases the “13th and 14th Generation K SKU Processor Instability Issue Update” | igor´sLAB https://www.igorslab.de/en/intel-releases-the-13th-and-14th-generation-k-sku-processor-instability-issue-update/ Motherboard makers apparently to blame for high-end Intel Core

                                                IntelハイエンドCPUを搭載したPCで頻繁にゲームがクラッシュした問題の原因はマザーボードにあり
                                              • Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita

                                                この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの

                                                  Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita
                                                • Intelの安定性重視「Baseline Profile」付きBIOSが配信。ハイエンド環境のエラー多発に対処

                                                    Intelの安定性重視「Baseline Profile」付きBIOSが配信。ハイエンド環境のエラー多発に対処
                                                  • 【VIDEO CARD LABORATORY 新装第1回】Radeon環境のフレームレートを激増させる「AFMF」を深掘りする ハマれば効果は絶大!そのメリットとデメリットを徹底検証 text by 加藤 勝明

                                                      【VIDEO CARD LABORATORY 新装第1回】Radeon環境のフレームレートを激増させる「AFMF」を深掘りする ハマれば効果は絶大!そのメリットとデメリットを徹底検証 text by 加藤 勝明
                                                    • 北森瓦版 - Intel 第13・14世代Coreの不安定性問題に関する公式見解を発表

                                                      Intel issues statement about CPU crashes, blames motherboard makers — BIOSes disable thermal and power protection, causing issues(Tom's Hardware) Intel releases official statement on 13th/14th Gen Raptor Lake CPU Stability Issues(OC3D) Intel releases the “13th and 14th Generation K SKU Processor Instability Issue Update”(Igor's Labs) Intelが第13・14世代Core processorの不安定性問題に対する公式見解を発表した。Igor's Labsにその内

                                                      • Intel、第13~14世代CPUが破損・劣化する不具合について、調査の途中経過を発表 | ニッチなPCゲーマーの環境構築Z

                                                        事の発端Intelの第13世代Core 13000シリーズ(Raptor Lake)や第14世代Core 14000シリーズ(Raptor Lake Refresh)を使用していると、数か月後くらいに突然不安定になって、ゲームがクラッシュしたり、「Out of video memory trying to allocate a rendering resource」(レンダリングリソースを割り当てようとしているビデオメモリが不足しています)というエラーが表示される不具合が発生しています。 この不具合の原因はCPUで、CPUの電力、電流、電圧、動作クロックのいずれかを下げることで不具合を一時的に回避できます。(もちろん、パフォーマンスも下がります) この不具合を根本的に直すにはCPUの交換しかなく、この不具合が発生するということはCPUが破損している・劣化している・ダメージを負っていることを

                                                          Intel、第13~14世代CPUが破損・劣化する不具合について、調査の途中経過を発表 | ニッチなPCゲーマーの環境構築Z
                                                        • ASUS製マザーがCPUソケットのピン折れ無償修理に対応

                                                            ASUS製マザーがCPUソケットのピン折れ無償修理に対応
                                                          • 【西川和久の不定期コラム】 自前でStable Diffusion用美女モデル作成の後日談。そしてVRAM 80GBのA100も使ってみた!

                                                              【西川和久の不定期コラム】 自前でStable Diffusion用美女モデル作成の後日談。そしてVRAM 80GBのA100も使ってみた!
                                                            • MLX で Llama2 を動かしてみる

                                                              Appleシリコン上での実行に対応した機械学習ライブラリMLXが公開されました。 今回は公式が公開している"mlx-examples"リポジトリの"llama"を使って、llama2-7b-chatの実行を試してみます。 commit: 3cf436b529ea58d6c0c0a29c0dd799908cd4497d 2023/12/22 検証環境 MacBook Pro Apple M3 Pro メモリ 36GB 公式要件としては、以下の環境が示されています。以下要件を満たしていてもメモリが少ない場合、実行するモデルによっては推論ができない可能性があります。 Using an M series chip (Apple silicon) Using a native Python >= 3.8 macOS >= 13.3 環境構築 まず"mlx-examples"のリポジトリをローカルにク

                                                                MLX で Llama2 を動かしてみる
                                                              • 中国がアメリカに禁じられたはずのNVIDIA製AIチップをDell・Gigabyte・Supermicro製サーバーから取得していたことが明らかに

                                                                中国が高性能チップをAI搭載兵器やサイバー攻撃ツールなどに軍事転用することへの懸念から、アメリカ政府はNVIDIAなどの半導体メーカーに対し、中国への高性能チップ輸出を規制しています。しかし、中国国内の一部の研究機関や大学では、NVIDIA製チップが搭載されたDellやGigabyte、Supermicro製のサーバーを再販業者から仕入れることでこの規制を回避していることが指摘されています。 China acquired recently banned Nvidia chips in Super Micro, Dell servers, tenders show | Reuters https://www.reuters.com/world/china/china-acquired-recently-banned-nvidia-chips-super-micro-dell-servers-

                                                                  中国がアメリカに禁じられたはずのNVIDIA製AIチップをDell・Gigabyte・Supermicro製サーバーから取得していたことが明らかに
                                                                • 僅か2.3GBで日本語可能な超高性能ローカルLLMのPhi-3 MINIをllama.cppとCPUで動かしてみた。スマホでも可。従来のコンパクトLLMと比較して超越した性能で未来を感じさせるMicroSoft寄付ありがとう

                                                                  Kapper@Linuxガジェヲタ&異世界小説家&生成AI&電子工作大好き @kapper1224 昨日MicroSoftからリリースしたローカルLLMモデルのPhi-3 mini 4k Q4をllama.cppのサーバ版を動かしてみた。こいつ2.32GBしかないくせに日本語しゃべれるぞ。今までとは桁違いの性能なんですけど・・・ ./build/bin/server -m ../Phi-3-mini-4k-instruct-q4.gguf -n 128 huggingface.co/microsoft/Phi-… pic.twitter.com/DTmUmeh7JE 2024-04-24 22:46:51

                                                                    僅か2.3GBで日本語可能な超高性能ローカルLLMのPhi-3 MINIをllama.cppとCPUで動かしてみた。スマホでも可。従来のコンパクトLLMと比較して超越した性能で未来を感じさせるMicroSoft寄付ありがとう
                                                                  • メモリ型の「Raspberry Pi Compute Module 4S」登場

                                                                      メモリ型の「Raspberry Pi Compute Module 4S」登場
                                                                    • LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由|erukiti

                                                                      もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし

                                                                        LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由|erukiti
                                                                      • 準備0でローカルLLMを動かす(LM Studio)

                                                                        はじめに Metaが新しく公開したLLMの性能が他の最新モデルに匹敵する性能となっており、ベンダーから提供されるAPIを使わずに、自分のPC上でLLMを動かしたい欲求が高まりました。 ローカルでLLMを動かすメリットとして、以下が考えられます。 従量課金制のAPIの費用を気にしなくて良い (※PCの電気代はかかるが) 個人情報を第三者に送信しないので、プライバシー面を考慮する必要がない LM Studio ローカルでLLMを動かす懸念として、環境構築など準備に時間がかかることが一つ挙げられます。 そこで、便利なツールを探していたところ、LM Studioを発見しました。 このツールは、GUI上でLLMの取得から起動までをボタンクリックで進めることができます。 さらに、チャットのUIやローカルサーバの起動・Pythonコード例の提示までしてくれる便利ツールとなっていました。 操作手順 使用し

                                                                          準備0でローカルLLMを動かす(LM Studio)
                                                                        • GPUなしでもできる画像生成AI ~Web UI「A1111」の環境構築と利用方法を伝授【生成AIストリーム】

                                                                            GPUなしでもできる画像生成AI ~Web UI「A1111」の環境構築と利用方法を伝授【生成AIストリーム】
                                                                          • 【西川和久の不定期コラム】 2つの2.5GbEをどう使う?Intel N100搭載ミニPC「MINISFORUM UN100D」

                                                                              【西川和久の不定期コラム】 2つの2.5GbEをどう使う?Intel N100搭載ミニPC「MINISFORUM UN100D」
                                                                            • IntelがNVIDIAに対抗して発表したAIアクセラレータ「Gaudi 3」の実物写真が公開中

                                                                              Intelが2024年4月にAIアクセラレータ「Gaudi 3」を発表しました。ハードウェア系ニュースサイト・ServeTheHomeが、前世代のGaudi 2やNVIDIAのH100よりも高い性能を発揮するというGaudi 3を実際に会場で見てきたとして、そのレポートを公開しています。 This is Intel Gaudi 3 the New 128GB HBM2e AI Chip in the Wild https://www.servethehome.com/this-is-intel-gaudi-3-the-new-128gb-hbm2e-ai-chip-in-the-wild-intel-vision-2024/ Intelは、Gaudi 3がAI学習性能とAI推論性能の両面でNVIDIAのAI特化GPU「H100」よりも高い性能を発揮すると述べており、2024年後半に量産を開

                                                                                IntelがNVIDIAに対抗して発表したAIアクセラレータ「Gaudi 3」の実物写真が公開中
                                                                              • 【元半導体設計屋 筑秋 景のシリコン解体新書】 ファウンダリ事業で最強プロセス技術の座を取り戻すIntel

                                                                                  【元半導体設計屋 筑秋 景のシリコン解体新書】 ファウンダリ事業で最強プロセス技術の座を取り戻すIntel
                                                                                • 自宅PCでクラスターを構築:コンシューマーGPUの枠を超え、大型LLMをローカルで動かす!|AIサトシ

                                                                                  最近オープンになる大規模言語モデル(LLM)が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日本語性能について評価が高く、一部の性能はGPT-4並みと言われますが、さすがに大型で104Bパラメータもあるため、4bitに量子化しても60GB程度のVRAMが必要となります。 コンシューマークラスのGPUの最高峰、RTX4090は、VRAM24GBのため、command-r-plusをすべてGPUに載せて推論しようと考えると、3台のマルチGPUデスクトップが必要です しかし、RTX4090は450W消費のGPUのため冷却機構が大きく、1デスクトップに3台収めるのは至難の業となります。 先日、水冷ラジエーター付きRTX4090で、マルチGPUデスクトップを作成しました。 水冷

                                                                                    自宅PCでクラスターを構築:コンシューマーGPUの枠を超え、大型LLMをローカルで動かす!|AIサトシ