はじめに こんにちは, 普段は情報科学専攻の大学院生をしながらバックエンドエンジニアをやっている @koki-algebra です. 普段は Go をよく書いているのですが, 大学でやっている機械学習の研究では Python を使うことがほとんどです. Go のエコシステムに慣れきった私は Python の混沌とした環境に耐えきれず, 最強の開発環境を整えることを決意しました. 具体的には Package Manager, Formatter, Linter, Type Checker, Test Tool を選定し, VSCode の DevContainer を用いてポータビリティに優れた開発環境を作ることを目指します. また, Deep Learning では GPU が必須である場合が多いので, GPU 環境も同時に整えたいと思います. 以下のレポジトリが今回考えた開発環境のテンプ
なぜ Apple が M4 をいきなり発表したのか? TSMC ロードマップとローカルAI時代の幕開け - 狐の王国
昨晩、Apple が新型 iPad Pro と iPad Air を発表した。一部で予想されていた通り、M3 はスキップして M4 が搭載された。Air も M3 ではなく M2 が搭載された。これは Apple Silicon を製造する TSMC の動向をある程度追いかけてる人にとっては、とても合点がいく展開だったと思う。 www.apple.com Apple Silicon でも TSMC の N3B と呼ばれる 3nm 世代を使って製造されるのは iPhone 15 Pro に搭載される A17 Pro だけになるんじゃないかと考えていた。なぜなら TSMC N3B はたいへん歩留まりが悪い、つまり不良品率が高くて製造コストが高いと報じられていたからだ。それを改善した N3E もすでに動いていて、Apple 製品以外はこちらを使うことになるだろうとも報じられていた。 実際は Ap
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
カリフォルニア州クパティーノ Appleは本日、驚くほど薄くて軽いデザインで、持ち運びやすさとパフォーマンスを次のレベルへ引き上げる、革新的な新しいiPad Proを発表しました。シルバーとスペースブラックの仕上げが用意されている新しいiPad Proは、広々とした13インチのモデルと極めて持ち運びやすい11インチのモデルの2つのサイズで提供します。どちらのサイズも、世界で最も先進的なディスプレイである、最先端のタンデムOLEDテクノロジーを採用した新しい画期的なUltra Retina XDRディスプレイを搭載し、驚くべき視覚体験を提供します。新しいiPad Proは、次世代のAppleシリコンである新しいM4チップによって実現し、パフォーマンスと機能が飛躍的に進化しています。M4はまったく新しいディスプレイエンジンを搭載し、Ultra Retina XDRディスプレイの精度、色、輝度を
ではそもそも“1bit”とは何が1bitなのか、どうして1bitになるとGPUが不要になるのか。LLMでGPUが不要になるとどんな世界が訪れるのか。オーダーメイドによるAIソリューション「カスタムAI」の開発・提供を行うLaboro.AIの椎橋徹夫CEOに聞いた。 プロフィール：椎橋徹夫 米国州立テキサス大学理学部卒業後、ボストンコンサルティンググループに参画。消費財や流通など多数のプロジェクトに参画した後、社内のデジタル部門の立ち上げに従事。その後、東大発AI系のスタートアップ企業に創業4人目のメンバーとして参画。AI事業部の立ち上げをリード。東京大学工学系研究科松尾豊研究室にて「産学連携の取り組み」「データサイエンス領域の教育」「企業連携の仕組みづくり」に従事。同時に東大発AIスタートアップの創業に参画。2016年にLaboro.AIを創業し、代表取締役CEOに就任。 ──まず、1bi
最近オープンになる大規模言語モデル（LLM）が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日本語性能について評価が高く、一部の性能はGPT-4並みと言われますが、さすがに大型で104Bパラメータもあるため、4bitに量子化しても60GB程度のVRAMが必要となります。 コンシューマークラスのGPUの最高峰、RTX4090は、VRAM24GBのため、command-r-plusをすべてGPUに載せて推論しようと考えると、3台のマルチGPUデスクトップが必要です しかし、RTX4090は450W消費のGPUのため冷却機構が大きく、1デスクトップに3台収めるのは至難の業となります。 先日、水冷ラジエーター付きRTX4090で、マルチGPUデスクトップを作成しました。 水冷
古い写真・低画質アニメ画像・イラストなどを簡単に高画質化できる「Winxvideo AI」でいろんな画像をハッキリクッキリアップグレードさせてみたレビュー
最先端のAI技術を利用して自動で動画を高画質化・フレーム補間・手ぶれ補正することができるソフトウェア「Winxvideo AI」は、動画だけでなく画像の高画質化も可能です。低画質な画像を鮮明に補正することができるということで、Winxvideo AIを使っていろんな画像を高画質化しまくってみました。 【無料】Winxvideo AI - 最高の動画、写真高画質化・修復＆動画変換ソフト｜無料体験 https://www.winxdvd.com/winxvideo-ai-ja/index.htm Winxvideo AIをインストールするには、上記の公式サイトにアクセスしてトップにある「無料ダウンロード」ボタンをクリック。 ダウンロードしたインストーラーをダブルクリックで起動。 「インストール」をクリック。 数秒でインストールが完了するので、「今すぐ起動」をクリック。 「後で通知する」をクリッ
コードなしでWeb3コンテンツなどを開発することができるプラットフォーム・thirdwebの創設者であるadammaj氏が、「経験なしで2週間でゼロからGPUを構築した」と報告しています。 I've spent the past ~2 weeks building a GPU from scratch with no prior experience. It was way harder than I expected. Progress tracker in thread (coolest stuff at the end)👇 pic.twitter.com/VDJHnaIheb— adammaj (@MajmudarAdam) ◆ステップ1：GPUアーキテクチャの基礎を学ぶ adammaj氏はまず、最新のGPUがアーキテクチャレベルでどのように機能しているのかを理解しようとしたそうで
Supercomputing Contest 2013/GPUプログラミング資料 - Supercomputing Programing Contest Official Site
2023-09-13 SupercomputingContest2023 2023-09-06 Supercomputing Contest News News/sc230906 2023-09-01 News/sc230830 2023-08-28 News/sc230828 SupercomputingContest2023/本選結果 2023-08-01 MenuBar 2023-06-29 News/sc230629 SupercomputingContest2023/予選結果 2023-06-12 SupercomputingContest2023/予選・認定問題Ｑ＆Ａ 2023-06-01 SupercomputingContest2023/問題および関連ファイル群更新履歴 2023-05-31 News/sc230531 2023-05-30 News/sc230530 20
1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
はじめに Metaが新しく公開したLLMの性能が他の最新モデルに匹敵する性能となっており、ベンダーから提供されるAPIを使わずに、自分のPC上でLLMを動かしたい欲求が高まりました。 ローカルでLLMを動かすメリットとして、以下が考えられます。 従量課金制のAPIの費用を気にしなくて良い (※PCの電気代はかかるが) 個人情報を第三者に送信しないので、プライバシー面を考慮する必要がない LM Studio ローカルでLLMを動かす懸念として、環境構築など準備に時間がかかることが一つ挙げられます。 そこで、便利なツールを探していたところ、LM Studioを発見しました。 このツールは、GUI上でLLMの取得から起動までをボタンクリックで進めることができます。 さらに、チャットのUIやローカルサーバの起動・Pythonコード例の提示までしてくれる便利ツールとなっていました。 操作手順 使用し
中国がアメリカに禁じられたはずのNVIDIA製AIチップをDell・Gigabyte・Supermicro製サーバーから取得していたことが明らかに
中国が高性能チップをAI搭載兵器やサイバー攻撃ツールなどに軍事転用することへの懸念から、アメリカ政府はNVIDIAなどの半導体メーカーに対し、中国への高性能チップ輸出を規制しています。しかし、中国国内の一部の研究機関や大学では、NVIDIA製チップが搭載されたDellやGigabyte、Supermicro製のサーバーを再販業者から仕入れることでこの規制を回避していることが指摘されています。 China acquired recently banned Nvidia chips in Super Micro, Dell servers, tenders show | Reuters https://www.reuters.com/world/china/china-acquired-recently-banned-nvidia-chips-super-micro-dell-servers-
インストール不要でLlama 3やMistralなどオープンソースLLMをブラウザで動かせるチャットボット「Secret Llama」が登場
Llama 3やMistral-7Bといったオープンソースの大規模言語モデル(LLM)をサポートし、WebGPUを使ってブラウザ上で完全に動作するチャットボット「Secret Llama」が公開されています。 Secret Llama https://secretllama.com/ GitHub - abi/secret-llama: Fully private LLM chatbot that runs entirely with a browser with no server needed. Supports Mistral and LLama 3. https://github.com/abi/secret-llama 実際にSecret LlamaのデモサイトでLlama 3を動作させて会話してみたところが以下のムービー。 大規模言語モデルを完全にブラウザで動作できる「Secr
NVIDIA製ワークステーションGPU搭載＆メモリを簡単に交換できるノートPC「ThinkPad P1 Gen 7」をLenovoが発表
Lenovoが2024年4月23日にモバイルワークステーション「ThinkPad P1 Gen 7」を発表しました。ThinkPad P1 Gen 7はLPCAMM2規格のメモリを搭載しており、簡単にメモリを交換できるのが特徴です。 Lenovo Unveils Its New AI-Ready ThinkPad P1 Gen 7 Mobile Workstation - Lenovo StoryHub https://news.lenovo.com/pressroom/press-releases/lenovo-unveils-its-new-ai-ready-thinkpad-p1-gen-7-mobile-workstation/ ThinkPad P1 Gen 7はCPUにIntel Core Ultraを採用し、GPUはゲーミング向けのNVIDIA GeForce RTX 40シ
中国政府は2024年3月、政府機関向けのPCやサーバにIntelとAMDのCPUを使用することを使用することを禁じるガイドラインを発表したという。 この措置は、Intel／AMDの競合にあたるHygon Information Technology（以下、Hygon）のような中国企業の売り上げ拡大を後押しするとアナリストらは指摘している。 IntelとAMDには打撃 英Financial Timesは2024年3月24日（英国時間）、中国が政府機関向けのPCやサーバへのIntelとAMDのCPUの使用を制限する方針を発表したと報じた。この報道を受け、米国EE TimesはIntelとAMDにメールで問い合わせたが、Intelからはコメントを拒否する旨の返信があり、AMDからは返信がなかった。 Bernstein ResearchのシニアアナリストであるStacy Rasgon氏は、米EE
【台北=龍元秀明】世界最大の半導体受託生産会社（ファウンドリー）である台湾積体電路製造（TSMC）が18日発表した2024年1〜3月期決算は、純利益が前年同期比8.9%増の2254億台湾ドル（約1兆円）、売上高は16.5%増の5926億台湾ドルだった。いずれも同期としての過去最高を更新した。生成AI（人工知能）向けなど先端半導体の受託生産が好調だった。半導体市況が低迷した23年12月期は前の期
さくらインターネットは19日、米エヌビディアなどから画像処理半導体（GPU）8000個を追加調達すると発表した。人工知能（AI）の開発に使うスーパーコンピューターの整備に向け、GPUを組み込んだ高性能サーバーを増やす。従来計画と合わせて2027年末までに合計1万個のGPUを購入する。さくらネットは23年以降、エヌビディアなどから2000個のGPUの調達を進めている。エヌビディア製のGPUの調達
負荷を抑えて高品質？ スマホゲームのグラフィックスを進化させるためにゲームエンジン「Frostbite」が取り組む「FP16化」とは
負荷を抑えて高品質？ スマホゲームのグラフィックスを進化させるためにゲームエンジン「Frostbite」が取り組む「FP16化」とは ライター：西川善司 2024年3月に行われたGDC 2024で，「FP16 Shaders in Frostbite」という一風変わったテーマを掲げていたセッションがあった。 簡単に言えば，Electronic Arts（以下，EA）の独自開発ゲームエンジン「Frostbite」で，16bit浮動小数点数（FP16）を徹底活用して性能を改善できるか検討したというものだ。 セッションを担当したAlexis Griffin-Lira氏（Software Engineer，Frostbite. EA）。Frostbiteエンジン開発チームの一員だ 近代ゲームグラフィックスでは，頂点シェーダが扱うジオメトリ（幾何学）的な演算において，単精度と呼ばれる32bit浮動小
概要 タイトルの通りなのだが、LightGBMをGPUで回すと結果の再現性が得られないことに気づいた。 CPUの場合は乱数seedを42などに固定すれば、同じ条件で何回回しても毎回同じ結果が得られる。 しかし、GPUの場合は乱数seedを固定しても回すたびに結果が変わってしまうのだ。 なぜ再現性がないのか？ この問題はLightGBMの公式のissueでも議論されている。 まず、GPUを使う場合は並列で計算できる部分は並列処理をすることで効率化している。 さらに、並列化した結果を足し算するときに、順番によって微妙に値が変わってしまうということだ。 もちろん数学的には足し算の順番が変わっても結果が変わることなんてないんだけど、コンピュータでfloatなどの値を計算する以上、丸め誤差だったり複数の要因で結果が「ほんのわずかに」違うということが起きうる。 さらに、LightGBMをGPUで回した
Stable Diffusionを代表とする画像生成AIにおいて、生成スピードを上げるにはより強力なGPUが必要だ。GeForceならRTX 4090のような最強のGPUが使えればいいが、誰もが手にできる価格とは言い難い。 となればビデオカードを複数枚使用してStable Diffusionの生成スピードが向上しないだろうか？ と考えるのは自然な流れだが、今のStable Diffusionは複数のGPUを協調させて処理する機能は搭載されていない。 しかし、Stable Diffusion（とAutomatic 1111）をGPUごとに紐付けて起動することで、ビデオカードの数だけ並行して作業を進めることができる。玄人志向の製品紹介ページには、まさにそういった記述が存在する。 玄人志向公式サイトの製品紹介ページには、複数のビデオカードを使うとStable Diffusionの生成速度がほぼ倍
「2025～2026年にはAIモデルの学習費用が1兆円を超えて人類に脅威をもたらすAIが登場する」とAI企業・AnthropicのCEOが予言
AIの開発にはGPUやAIアクセラレータからなる大規模な計算資源が必要です。AI企業Anthropicのダリオ・アモデイCEOはAIモデルの学習費用が今後数年で約100億ドル(約1兆5400円)に達すると推測しています。 Transcript: Ezra Klein Interviews Dario Amodei - The New York Times https://www.nytimes.com/2024/04/12/podcasts/transcript-ezra-klein-interviews-dario-amodei.html 大規模言語モデルやマルチモーダルAIモデルの学習には、大量のGPUやAIアクセラレータが必要です。NVIDIAやAMD、Intelといった半導体企業はAIの学習を効率的に実行できるチップの開発を進めていますが、それらのAI特化チップは性能の高さと引き換
経済産業省所管の研究機関である産業技術総合研究所は、米エヌビディアと協力して量子計算ができるシステムをつくる。2025年度以降に企業や研究者が有償で使えるようにする。量子計算は高速で複雑な計算処理が可能で、創薬研究や物流の効率改善につなげる。産総研がスーパーコンピューターと量子コンピューターをつなげた計算基盤「ABCI-Q」の運用を始める。量子コンピューターは単独では計算ミスが多い課題がある。
【検閲なし】GPUで生成するローカルAIチャット環境と小説企画＋執筆用ゴールシークプロンプトで叡智小説生成最強に見える｜カガミカミ水鏡👯
この記事では日本語小説に強いローカルLLM環境を簡単構築できるEasyLightChatAssistantの紹介と、論理破綻が少ない効率的な小説生成を促す(と個人的には思っている)AIチャット用プロンプトの公開をしていきます。このコンテンツは主に官能小説をベースに語りますので、年齢制限などお住まいの国家地域のレーティングに従ってお読みください。 どうもこんにちは、休日に「生成AIなんでも展示会」というイベントを知って寝てからいくかーと思って起きて行こうと思ったら当日参加不可イベントだったことを知ったカガミカミ水鏡です。そうよ鉄郎……私は計画性がない女…… ところでエロ小説が大好きな皆さん(直球)、カガミカミ水鏡さんという方はご存知ですか？ 生成AIが頭角を表すはるか以前の2015年からpixivの片隅できしょいジャンルの小説を投稿してるエロSS書きです(猫耳の奴などは2011年にbbspi
The Advanced Micro Devices headquarters in Santa Clara, California. Photographer: David Paul Morris/Bloomberg 半導体メーカーの米アドバンスト・マイクロ・デバイセズ（ＡＭＤ）は４－６月（第２四半期）について、さえない売上高見通しを示した。ゲーム用ハードウエア向け半導体の需要不振が重しとなった。 ４月30日の発表資料によると、４－６月期売上高は約57億ドル（約9000億円）の見通し。アナリスト予想平均は57億2000万ドルだった。 １－３月（第１四半期）のゲーム部門売上高は市場予想を大きく下回ったが、同社は人工知能（ＡＩ）向けアクセラレーター分野参入による押し上げ効果を期待している。ＡＩアクセラレーターはチャットボットなどＡＩツール開発を支援するエヌビディア型の半導体。ＡＭＤは新製品の
Intelが2023年12月に正式発表した第14世代CoreプラットフォームのノートPC向けプロセッサ「Core Ultra」は、2023年9月に発表されたMeteor Lakeアーキテクチャがベースになっています。そんなCore UltraにはAI処理に特化したニューラルプロセッシングユニット(NPU)が搭載されており、このNPUについて海外メディアのChips and Cheeseが解説しています。 Intel Meteor Lake’s NPU – Chips and Cheese https://chipsandcheese.com/2024/04/22/intel-meteor-lakes-npu/ Core Ultraに搭載されたNPUは「NPU 3720」と呼ばれています。そんなNPU 3720には2つのニューラルコンピューティングエンジン(NCE)タイルが搭載されており、こ
NVIDIAがRTX 3050と同じGPUを搭載するRTX A1000とRTX A400を発表。ロープロファイルかつシングルスロットで最強GPUに？ NVIDIAではロープロファイルGPUとしてGeForce RTX 4060やその前にはRTX A2000などが発売され、これらのグラフィックカードがロープロファイル規格を満たすグラフィックカードとして非常に高い性能を持っていました。 しかし、これらグラフィックカードはロープロファイルではあるものの、2スロットで小型かつ薄型デスクトップには入らないケースもありましたが、NVIDIAではAmpere GPUを搭載したロープロファイルかつシングルスロットのRTX A1000とRTX A400の2モデルを発表しました。 NVIDIA RTX A1000およびRTX A400はRTXシリーズとしてリリースされているため、ゲーミング向け製品ではありませ
ロボットに新しいスキルを習得させる場合、まずシミュレーション環境でトレーニングを行い、それから現実環境に展開するのが一般的ですが、その際にシミュレーション環境と現実環境のギャップが課題になります。このギャップを埋める作業を大規模言語モデルで自動化する技術「DrEureka」を、NVIDIAやペンシルベニア大学、テキサス大学オースティン校などの研究チームが開発しました。 DrEureka | Language Model Guided Sim-To-Real Transfer https://eureka-research.github.io/dr-eureka/ Nvidia’s DrEureka outperforms humans in training robotics systems | VentureBeat https://venturebeat.com/automation/
NVIDIAが2024年4月24日に、AIハードウェアの最適化と管理を行うツールを手がけるイスラエルのスタートアップ・Run:aiを買収したことを発表しました。 NVIDIA to Acquire GPU Orchestration Software Provider Run:ai | NVIDIA Blog https://blogs.nvidia.com/blog/runai/ Nvidia acquires AI workload management startup Run:ai for $700M, sources say | TechCrunch https://techcrunch.com/2024/04/24/nvidia-acquires-ai-workload-management-startup-runai/ テルアビブを拠点とするRun:aiは、AIインフラストラク
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
僕の考えた最強の Python 開発環境 (2024)
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti
Apple、M4チップを搭載した美しく新しいiPad ProとApple Pencil Proを発表
生成AIでGPUがいらなくなる？ 業界を揺るがす「1ビットLLM」とは何か、識者に聞いた
自宅PCでクラスターを構築：コンシューマーGPUの枠を超え、大型LLMをローカルで動かす！｜AIサトシ
GeForce RTX搭載PCで動くローカルAI「ChatRTX」刷新。画像認識や音声入力に対応
「ゼロからGPU開発」に経験なし＆わずか2週間で成功した猛者が登場
GPUなしでもできる画像生成AI ～Web UI「A1111」の環境構築と利用方法を伝授【生成AIストリーム】
【西川和久の不定期コラム】 自前でStable Diffusion用美女モデル作成の後日談。そしてVRAM 80GBのA100も使ってみた！
準備0でローカルLLMを動かす(LM Studio)
メモリ型の「Raspberry Pi Compute Module 4S」登場
中国政府の「Intel／AMD禁止令」、中国企業への強い追い風に
台湾TSMCが最高益、1〜3月8.9%増 生成AI向け好調 - 日本経済新聞
NVIDIAのローカルAI「ChatRTX」、AIモデル追加で画像認識や音声入力が可能に／
さくらインターネット、AI半導体1万個調達へ 従来計画の5倍 - 日本経済新聞
LightGBMをGPUで回すと結果の再現性が得られない - Qiita
Stable Diffusionの生成速度をビデオカード複数枚挿しで“実質的に”爆速にしてみた (1/3)
産総研、NVIDIAと量子計算システム 有償で民間に - 日本経済新聞
米ＡＭＤ、さえない売上高見通し示す－ゲーム用半導体が需要不振
NVIDIA H200搭載サーバー初号機をフアンCEOがOpenAIに直接お届け
AI性能を重視したIntel第14世代SoC「Core Ultra」に搭載されたNPUの性能とは？
NVIDIAがRTX 3050と同じGPU搭載のRTX A1000とA400を発表。ロープロファイル・シングルスロットで最強GPUに？
AMDサーバー向けCPU、売上高シェアが過去最高の33%
「GeForce NOW」のNVIDIA直営サービスを試す ～新設のUltimateプランはGeForce RTX 4080を超える性能？【石田賀津男の『酒の肴にPCゲーム』】
MatroxのIntel Arc A380搭載ビデオカードが国内発売
AMD、性能と電力効率を改善したビジネスAI PC向け「Ryzen PRO 8040/8000」シリーズ
ロボットのトレーニングを大規模言語モデルで加速する技術「DrEureka」をNVIDIAなどの研究チームが開発
【VIDEO CARD LABORATORY 新装第1回】Radeon環境のフレームレートを激増させる「AFMF」を深掘りする ハマれば効果は絶大！そのメリットとデメリットを徹底検証 text by 加藤 勝明
優れたエネルギー効率でサーバー台数と電力を削減する、AMDの最新サーバー向け第4世代AMD EPYCプロセッサー
NVIDIAがGPUリソース管理ツールの開発企業「Run:ai」を買収