はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必要な計算量(FLOPs)は以下のように年々膨大になっています。近年の大規模モデルでは、NVIDIA H100 80GB であっても 1 つの GPU では、モデルをのせることすらできません。 Compute Trends Across Three Eras of Machine Learning より またScaling Laws によると、大規模なモデルは小さいモデルと比較してより優れた性能を発揮するため、自動
Intelがメモリ標準化で主導権を失うに至った“やらかし”について：“PC”あるいは“Personal Computer”と呼ばれるもの、その変遷を辿る（1/3 ページ） 昔ながらのIBM PC、PC/AT互換機からDOS/Vマシン、さらにはArmベースのWindows PC、M1 Mac、そしてラズパイまでがPCと呼ばれている昨今。その源流からたどっていく連載。第13回のトピックは、メモリ標準化の話。ここでIntelは大きな失策をやらかす。 第1回：“PC”の定義は何か まずはIBM PC登場以前のお話から 第2回：「IBM PC」がやってきた エストリッジ、シュタゲ、そして互換機の台頭 第3回：PCから“IBM”が外れるまで 「IBM PC」からただの「PC」へ 第4回：EISAの出現とISAバスの確立 PC標準化への道 第5回：VL-Bus登場前夜 GUIの要求と高精細ビデオカードの
Apple A4チップやAMD Ryzenの生みの親であるジム・ケラー氏がNVIDIAのCUDAとx86アーキテクチャを「沼」と呼んで批判
AMDのAthlonやZenマイクロアーキテクチャ、Apple A4などさまざまなチップの開発に携わったアーキテクトでエンジニアのジム・ケラー氏が、X(旧Twitter)で「NVIDIAのCUDAは沼です」と批判したことが報じられています。 Jim Keller criticizes Nvidia's CUDA, x86 — 'Cuda’s a swamp, not a moat. x86 was a swamp too' | Tom's Hardware https://www.tomshardware.com/tech-industry/artificial-intelligence/jim-keller-criticizes-nvidias-cuda-and-x86-cudas-a-swamp-not-a-moat-x86-was-a-swamp-too ケラー氏の経歴は以下の記事を
AMD Ryzen(Zen3/Zen4)に重大な脆弱性、RSA暗号を6.5秒で窃取できる不具合、修正まで利用停止を – ITエンジニアのまとめ
ホーム PC, ハードウェア AMD Ryzen(Zen3/Zen4)に重大な脆弱性、RSA暗号を6.5秒で窃取できる不具合、修正まで利用停止を 2023.08.13 PC, ハードウェア AMD Ryzen(Zen3/Zen4)に重大な脆弱性、RSA暗号を6.5秒で窃取できる不具合、修正まで利用停止を AMD Ryzen(Zen3/Zen4)に重大な脆弱性、RSA暗号を6.5秒で解読窃取できる不具合、修正時期は未定、今すぐ利用中止を AMDのCPUに新たな脆弱性が見つかりました。 見つかった脆弱性のCVE-IDはCVE-2023-20569。AMDによると、この脆弱性を悪用した『Inception』と呼ばれる新たなサイドチャネル攻撃により、情報漏えいの恐れがあるとのこと。 この脆弱性はチューリッヒ工科大学の研究者らにより発見されました。『Inception』によるデータ窃取の速度は毎秒3
Raspberry Pi4 単体で TensorFlow Lite はどれくらいの速度で動く？ - Qiita
1. はじめに 世の中にはDeepLearningの学習済みモデルを公開してくださっている方がたくさんいらっしゃいます。本記事は、そのうちのいくつかをラズパイ４で動かしてみて、いったいどれくらいの速度で動くのかを検証したものです。 計測対象モデルとして、Mediapipe および TensorFlow.js、TensorFlow Lite models で公開されている学習済みモデルを利用させて頂きました。またモデル実行フレームワークとしては、モバイル向けに整備が進む TensorFlow Lite (C++) を用いました。 計測にあたっては、公開されているモデルをそのまま動かすだけでなく、一般的な高速化手法である下記の２手法を両方試し、その効果も計測しました。 [1] モデルをint8量子化する方法 演算精度に多少目をつぶる代わりに、NEON等のSIMD演算器による並列処理の並列度をさ
エヌビディア、アーム技術のＰＣ用半導体開発に着手＝関係者
１１月２１日、米半導体大手エヌビディアは、アップルにはできない中国を巡る懸念の払拭が可能だ。米カリフォルニア州サンタクララのエヌビディア本社で２０２２年５月撮影。同社提供（２０２３年 ロイター） [２３日 ロイター] - 人工知能（ＡＩ）向け半導体で圧倒的シェアを誇る米エヌビディア(NVDA.O), opens new tabが、これまで米インテル(INTC.O), opens new tabの牙城だったパソコン（ＰＣ）用半導体市場に挑もうとしている。 事情に詳しい２人の関係者はロイターに、エヌビディアがマイクロソフト(MSFT.O), opens new tabの基本ソフト（ＯＳ）「ウィンドウズ」を動かすＣＰＵの設計をひそかに開始し、そこには英半導体設計大手アーム(O9Ty.F), opens new tabの技術が使われると明かした。 マイクロソフトは、半導体メーカー各社がウィンドウズ
AI分野でのNVIDIA一強状態を崩すためにIntel・Google・富士通・Armなどが参加する業界団体がCUDA対抗のAI開発環境を構築中
NVIDIAはAI開発に使われるGPUで大きなシェアを獲得しているほか、ソフトウェア開発および実行環境「CUDA」もAIの開発現場で広く採用されています。そんなNVIDIAの一人勝ち状態に対抗するべく、Intelや富士通、Google、Armなどのテクノロジー企業が参加する業界団体「Unified Acceleration Foundation(UXL Foundation)」がオープンなソフトウェア開発環境の構築を進めています。 UXL Foundation: Unified Acceleration https://uxlfoundation.org/ Unified Acceleration (UXL) Foundation https://www.intel.com/content/www/us/en/developer/articles/news/unified-accelera
Claude 3 OpusはGPT-4では難しい「オホーツクに消ゆ」ライクなアドベンチャーゲーム生成ができる - ABAの日誌
ChatGPTにGPTsが搭載されたころ、テーマを与えるとそれに沿ったアドベンチャーゲームが作れないかと試していた。特に「オホーツクに消ゆ」のような、コマンド選択式のミステリーアドベンチャーを色々と遊べたら楽しいかなと思っていた。 結果としてはうまくいかなかった。GPT-4が作成するストーリーは具体性に欠け、実在（しそうな）人物やローケーションなどに沿った展開を持たせることが難しかった。 最近Claude 3とよばれる、GPT-4を凌駕するといわれるLLMが現れた。なので今度はこれを使ってアドベンチャーゲーム生成を試してみた。使うモデルはProユーザーが使えるClaude 3 Opus。 例えば「上野駅」をテーマにして生成すると、以下のようなゲームができる。 上野駅4番ホーム。午前9時頃。 ホームの端で、男性の刺殺体が発見された。あなたは、現場に駆けつけた刑事の沢村。 目の前には血まみれの
概要 CSS で実装する要素の移動（アニメーション）に関しての簡単な説明から、パフォーマンスに関連する事象を深掘って説明していきます。この辺りの話はややこしいので、自身でも整理をつけるためにまとめました。 長い記事になりますが、CSS のアニメーション（パフォーマンス関連）を深く理解するための手助けになれば幸いです。 既にご存知の方はどこか間違っている点などあればご指摘宜しくお願いいたします。 要素の移動について 要素を縦横にアニメーションを伴って動かしたい場合 transition を適応させた要素に対して right, left, top, bottom や transform: translate(X,Y) のプロパティーを追加、またはその値を変更することで実現させることができる。 移動には right, left, top, bottom よりも transform: transl
「ChatGPT」のような生成系AIを高速化するサーバー向けGPUをNVIDIAが発表 ライター：米田 聡 GTC 2023の基調講演に登場したJensen Huang氏 2023年3月21日，NVIDIAが主催する恒例のGPU技術関連イベント「GTC 2023」がスタートした。3月22日に行われた同社CEOであるJensen Huang（ジェンスン・フアン）氏の基調講演では，さまざまな新しいAI関連製品やサービスが発表となった。 本稿では，基調講演の一部から，ゲーマーでも知っておく価値がありそうなものにしぼって概要を紹介したい。 計算機リソグラフィ分野に大躍進をもたらす「cuLitho」 NVIDIAは自社で工場を持たない，いわゆるファブレスの半導体メーカーである。ただ，ファブレスといっても半導体の製造技術と無関係でいられるわけではない。とくにGPUは，最先端の製造技術を用いる複雑で大規
1. Intel 64 CPU互換レイヤー「Rosetta 2」でサポートする命令等 Intelが出している MacCPUID と言うユーティリティはIntel Macに採用されているCPUの機能などを調べるユーティリティであるが、Rosetta環境で使用すると、ソフト側から見た仮想Intel64ハードウェアの機能を調べることができる。 https://software.intel.com/content/www/us/en/develop/download/download-maccpuid.html これが実行したところであるが、ベンダーストリングこそ "VirtualApple" となっているものの、CPUはWestmere世代のプロセッサ互換として認識されている。 また、CPUの機能はWestmere世代の第1世代(32nm版)Core i*シリーズと同等である。 AESやPCLM
Stable Diffusion（AUTOMATIC1111）をWindowsにインストール方法と使い方 この記事は，画像生成AIであるStable Diffusion web UIのインストール方法と使い方について記載します． 【Stable Diffusionとは？】 Stable Diffusionとは画像生成AIの…
Bevy + WebGPU
Bevy + WebGPU Posted on May 17, 2023 by Carter Anderson ( @cart @cart_cart cartdev ) I'm excited to announce that Bevy's main branch now supports WebGPU rendering on the web! This means you can play with it now by checking out our repo provided you have a supported web browser (WebGPU is still in the process of rolling out). You can also explore our live WebGPU examples. The upcoming Bevy 0.11 rel
The NOAA said the sun continued to produce solar flares on Saturday.
大規模言語モデルの開発者が知っておくと役立つさまざまな数字
Googleの人工知能部門の責任者を務めるスゴ腕エンジニアのジェフ・ディーンがかつて作成した「すべてのエンジニアが知っておくべき数字」に習って、「大規模言語モデル(LLM)の開発者が知っておくべき数字」が元Googleのエンジニアだったワリード・カドスさんによってまとめられています。 ray-project/llm-numbers: Numbers every LLM developer should know https://github.com/ray-project/llm-numbers ◆プロンプト編 40-90％：プロンプトに「簡潔に」を追加することで節約できる量 LLMの返答はトークン単位で課金されるため、LLMに簡潔に返答するよう要求すると大幅にコストを削減可能です。単にプロンプトに「簡潔に」を追加するだけでなく、例えば10個の案を出すというプロンプトを行う時に代わりに5個
まさかのXeon搭載NUC「Intel NUC 9 Pro」はGPUを選べる頼れるヤツだった：新たなNUCの道（1/4 ページ） 2020年1月の「CES 2020」に合わせて、Intelが新型のNUC（Next Unit of Computing）を披露したことを覚えている人も多いだろう。 従来製品に比べボディーが若干大型化した反面、新たにPCI Expressスロットを備えることで性能と拡張性を高めた新型NUCは、第9世代Coreプロセッサを備えたゲーミング向けモデルが“Ghost Canyon”、Xeonプロセッサなどを搭載するワークステーション向けモデルが“Quartz Canyon”の開発コード名で呼び表される。どちらもベアボーンキットとして提供されるが、国外の一部地域では、既に市場投入が始まっているようだ。 今回取り上げる「Intel NUC 9 Pro Kit NUC9VXQ
20～50の質問をされるたび、ChatGPTは500mlのペットボトル1本分の真水を｢飲む｣必要がある —— 最新調査
人工知能（AI）の環境への影響はまだあまりよく知られていないが、その実態を伝えるレポートが出てきた。 GPT-3は計算過程で熱くなるのを防ぐために水を必要とする。 20～50の質問をされるたびに、ChatGPTのサーバーは500ミリリットル入りのペットボトル1本分の水を｢飲む｣必要があるという。 ChatGPTといった生成AIツールの人気が高まる中、この新たな技術が環境に与える影響も明らかになってきた。 AIと持続可能性についてはまだほとんどデータがないものの、カリフォルニア大学リバーサイド校とテキサス大学アーリントン校の研究者らはOpenAIのGPT-3やGPT-4といったAIモデルのウォーター・フットポイントに関する研究をまとめた。 マイクロソフトはデータセンターでGPT-3を訓練するのに70万リットルの真水を使用したと見られている。Gizmodoによると、これは原子炉の冷却塔を満たす
Stable Diffusion」がオープンソースとして公開されてから2カ月。画像生成AIは急速に進化し、カンブリア大爆発のような様相だ。激動の2カ月間に何があったのか。AI研究者でありAIプログラマーでもある清水亮氏に振り返ってもらい、これからAIがどう世界を変えていくのか、連載としてお伝えしていく。 2022年8月22日。日本時間にして午前4時ごろ、「世界変革」はついに実行された。 以前から噂のあった、「どんな絵も描ける」AIである「Stable Diffusion」がついにオープンソースとして公開されたのだ。 この日は、前日の深夜からStable DiffusionのコミュニティがあるDiscordサーバが、期待に胸を膨らませる人々で賑わっていた。 「日付が変わったぞ。まだか」という声が一定時間ごとに投稿され「もうすぐだ」と宥（なだ）める声と、「本当は公開されないのではないか」と訝（
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。野澤氏は、Google Colabとvscodeを用いて作るデータ分析環境とその運用について発表しました。 機械学習の勉強環境の1つ「Google Colaboratory」 野澤哲照氏（以下、野澤）：「Google ColabとVSCodeを用いたデータ分析環境運用Tips」ということで、野澤が発表します。 最初から免責で申し訳ないのですが、今日紹介する方法はGoogle側が推奨している方法ではないので、急に使えなくなる可能性もあります。そこだけご了承ください。 今日話す内容ですが、ざっくりGoogle Colab（Google Colaboratory）とVSCodeを紹介して、最終的にどういう環境が作れるかというところと、環境構築手順・運用時のポイントなどを話
Docker社は、WindowsやMac上に簡単にDockerコンテナ環境を導入できる「Docker Desktop」のAppleのM1チップ対応と、WindowsのWSL 2（Windows Subsystem for Linux 2）におけるGPU対応をそれぞれ実現したプレビュー版のリリースを明らかにしました。 プレビュー版は、今回発表された「Docker Developer Preview Program」に申し込むことで、誰でも入手可能です。 In addition, today we’re opening up our Docker Developer Preview Program more widely. Help shape & improve the experience for millions of #Docker users by becoming a member
最近ではArm、RISC-Vなど組み込みでも華々しい活躍を見せているRISCプロセッサ。その歴史的経緯を、IT史に詳しい大原雄介さんが解説する。 ARM（現在はArm）の成功は、また別の形で業界に影響を及ぼすことになった。つまり「適当なプロセッサがなければ、自分で作ればいい」というトレンドである。1980年代後半といえば、まだASIC（Application Specific IC：特定用途向けIC）を使うことが多く、国内でもNEC、富士通、日立、東芝、シャープといった大手だけでなく、もっと小さなメーカーもASIC製造に参入していた。 実際、筆者が昔いた会社では、ヤマハに製造を委託することもあった。もっとも、当時のヤマハは規模こそ小さかったものの、97年にIntelに買収された米半導体企業Chips & Technologiesの製品の製造を受諾していたりしていたから、知名度はそれなりにあ
コンピューターの起動プロセスへの攻撃が増加していることに対抗して、ハードウェアの防御層としてAMDが開発したのが「Platform Secure Boot(PSB)」機能です。この機能を一度でも利用した場合、CPUがベンダーロックインされてしまうという欠点があり、そうしたCPUが中古市場に混乱を起こしていると報告されています。 Lenovo Vendor Locking Ryzen-based Systems with AMD PSB https://www.servethehome.com/lenovo-vendor-locking-ryzen-based-systems-with-amd-psb/ Anchoring Trust: A Hardware Secure Boot Story https://blog.cloudflare.com/anchoring-trust-a-har
UbuntuでのGPUディープラーニング環境の構築【Ubuntu 18.04 LTS対応】：機械学習＆ディープラーニング環境構築入門（1/3 ページ） GPUを活用したTensorFlow／PyTorch／Chainerなどによるディープラーニングを実践するための環境をUbuntu上に構築する際の選択ポイントと手順を説明する。 連載目次 0. ディープラーニングのOS環境の選択指針 TensorFlowやPyTorch、Chainerなどのライブラリを使ったディープラーニング（Deep Learning）／機械学習（Machine Learning）を始めようと思ったなら、本当の初心者／学習者であればGoogle Colaboratoryの活用をお勧めする（※参考「ディープラーニングを始めるための、作業環境の特長と使い分け指針：Google Colaboratory入門」）。しかし「本格的
藤井聡太竜王広告契約について｜将棋ニュース｜日本将棋連盟
日本将棋連盟所属の藤井聡太竜王（王位・叡王・王将・棋聖）は、日本AMD（米国本社：米カルフォルニア州サンタクララ、会長兼CEO：リサ・スー）と2022年9月から広告契約を結ぶこととなりました。
さくらインターネット、生成AI向けクラウドサービス開始へ 〜NVIDIA H100 GPUを搭載した2EFの大規模クラウドインフラを石狩データセンターに整備〜 クラウドコンピューティングサービスを提供するさくらインターネット株式会社（本社：大阪府大阪市、代表取締役社長：田中 邦裕、以下「さくらインターネット」）は、経済安全保障推進法に基づく特定重要物資である「クラウドプログラム」の供給確保計画に関する経済産業省の認定を受けました。AI時代を支えるGPUクラウドサービスの提供に向けて、3年間で130億円規模の投資をし、「NVIDIA H100 Tensor コア GPU」を搭載した、合計2EFLOPS（エクサフロップス）※1の大規模クラウドインフラを整備することを決定いたしました。 クラウドコンピューティングに最適化した「石狩データセンター」 本取り組みは民間で初めて経済産業省から認定された
'Extreme' geomagnetic storm may bless us with more aurora displays tonight and tomorrow
「Epic Gamesが開発するゲームランチャー『Epic Games Launcher』を起動していると、AMDのRyzen CPUの温度が上昇する」と指摘する声が複数上がっています。報告によれば、ゲームを実行していなくても、Epic Games Launcherがバックグラウンドで起動しているだけでCPUの負荷が増加しており、「Epic Games Launcherが裏でデータ収集をしているからではないか」と推測されています PSA: Disabling Epic Games Launcher lowered my 5800X idle temps from 50C to 37C : Amd https://www.reddit.com/r/Amd/comments/kjzojd/psa_disabling_epic_games_launcher_lowered_my/ Epic Ga
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模モデルを支える分散並列学習のしくみ Part1
AIの力でキレイに ～NVIDIAの超解像ビデオ技術に対応した「VLC media player」が登場／「GeForce RTX 30/40」シリーズでのみ利用可能
やっぱり萌えイラストを錬成したい ～あなたが欲しい絵を生成できるサービスはこれだ！【いまからでも遅くない！ツールとして使うAI画像生成】
Intelがメモリ標準化で主導権を失うに至った“やらかし”について
押収されたゲーム機は3800台！ズラリとPS4並ぶウクライナの仮想通貨マイニング工場が電気窃盗で摘発 | Game*Spark - 国内・海外ゲーム情報サイト
【特集】 小型PCで3Dゲームはどれくらい遊べる？RyzenとCoreの2機種で10タイトルを検証
“ペタ”FLOPSの性能を実現したモンスターGPU「NVIDIA H100」
GeForce RTX 4080 12GBが発売中止。NVIDIA「名前が紛らわしいため」
CSS アニメーションについて深く知る - Qiita
いま、生成AIでNVIDIA GPUが引っ張りだこなワケ
「Copilot+ PC」とはなにか マイクロソフトが狙うUX変化とWindowsの再設計
「ChatGPT」のような生成系AIを高速化するサーバー向けGPUをNVIDIAが発表
Apple M1のサポートする命令など - Qiita
【Stable Diffusion】 実写・リアル系の画像を生成するモデル | ぺんぎんや
Engadget | Technology News & Reviews
PS5・Xboxで加熱するゲーム機商戦とそれぞれのプラットフォーム戦略【西田宗千佳のイマトミライ】
まさかのXeon搭載NUC「Intel NUC 9 Pro」はGPUを選べる頼れるヤツだった
まさに「世界変革」──この2カ月で画像生成AIに何が起きたのか？
Intel、2023年に7nmのコンピュートタイルを持つ「Meteor Lake」を投入。x86 CPUのIPも顧客に提供へ
Google ColabとVSCodeで作るデータ分析環境 クラウドのGPU環境でもローカルと遜色ない開発体験を
AppleのM1チップ対応「Docker Desktop」プレビュー版が登場、WSL2のGPU対応も
「RISCだったら自分たちで作れるんじゃね？」で始まった、自家製RISCプロセッサの興隆
Lenovoに搭載されているAMD CPUにベンダーロックが設定されているせいで中古市場が混乱している
噂の「ASUS GeForce RTX 3070 Noctua Edition」正式発表。負荷時騒音12.6dB
UbuntuでのGPUディープラーニング環境の構築【Ubuntu 18.04 LTS対応】
さくらインターネット、生成AI向けクラウドサービス開始へ | さくらインターネット
Engadget | Technology News & Reviews
「Epic Games Launcherを起動しているだけでAMD RyzenのCPU温度が上昇する」という指摘
RyzenやGeForceなどの品薄が深刻化、5万円近く値上がりしたビデオカードも安価な液晶ディスプレイも品薄傾向、一方でIntel CPUの価格は下落傾向
【後藤弘茂のWeekly海外ニュース】 Appleデバイスの次の心臓となるSoC「Apple A14」
