1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
ChatGPTで騒いでる場合じゃない。 AI研究者が｢FlexGen｣をゲームチェンジャーと呼ぶ理由
ChatGPTに世間が沸いている。 長年この分野を見てきた者としては｢ちょっと沸きすぎ｣のようにも見える。深層学習を使った会話ロボットは、何もChatGPTが初めてというわけではない。 ところが、世界中が驚かざるを得ないゲームチェンジャーが現れた。 その名も｢FlexGen｣と言う。2月15日に公開された。 特筆すべきは、FlexGenが、ChatGPTなどの大規模言語モデルを｢従来の100倍高速に動かせる｣上に、NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPUでその性能を使えるということだ。 つまり、大規模言語モデルを秋葉原で売っているパソコン程度で動かせる新しいフレームワークが登場したことになる。 このインパクトがどれほどすごいのかを解説してみよう。 目次： ｢Google翻訳｣と｢大規模言語モデル｣は技術的にかなり近い 会話AIの正体とは何か ChatGP
NetflixのシニアパフォーマンスアーキテクトであるBrendan Gregg氏による、Linuxサーバにログインして60秒でまず調べることのまとめ。 パフォーマンス問題でLinuxサーバーにログインしたとして、最初の1分で何を調べますか？ Netflixには、多数のEC2 Linuxからなるクラウドがあり、そのパフォーマンスを監視したり調査したりするための数々のパフォーマンス分析ツールがあります。その中には、クラウド全体にわたる監視を行うAtlasや、オンデマンドにインスタンスの分析を行うVectorがあります。これらのツールは多くの問題を解決する手助けをしてくれますが、各インスタンスにログインし、標準的なLinuxパフォーマンスツールを実行する必要がある場合もあります。 この記事では、すぐ使えるはずの標準的Linuxツールを使いコマンドラインにおいて、最適化されたパフォーマンス調査を
日本の工業力の高度化ってなんで止まったんだろう
アメリカが凄いのは疑いようがないが、日本がどうしてアメリカに肩を並べられるほど高度な工業力にならなかったのかが気になっている。 iPodはホイールの使い心地に極振りし、あの当時はまだ余力はあったように思う。 iPhoneが出て部品の割合が日本製が多かったことがあり、差別化の要因はソフトウェアと言われた時代があったが、 今はAppleが独自に作っている半導体が差別化要因になった。 GoogleもAppleほど上手くできていないが、独自半導体が差別化要因になった。 日本の場合、ガラケーと言われていた頃は、各社独自技術を詰め込んでいて差別化していた。 ソフトウェアに関しても、数字を入力するとリンク先に飛べるというのは、日本人には古臭く感じるだろうが、 インドだとQVGAが主流でありKaiOSに取り入れられようとしてる。 QRコードや絵文字もルーツをたどれば日本だ。 探せば日本からというのはあるが
中国が台湾を統一すれば、西太平洋地域でより自由に力を誇示できるようになり、グアムやハワイなどの遠隔地にある米軍基地さえも脅かす可能性がある――。そう指摘する西側の専門家もいる。
これらの試算から、1人あたりのトラッキングによる通信量はおおよそ16.88kbpsから112.50kbpsと考えられます。 スター型ネットワークの場合 ここでメタバースでスター型のネットワークを採用することを考えます。 どのような構成かというと、クライアントがトラッキングデータをサーバーへ送信します。各クライアントへのトラッキングデータの送信はサーバーが行います。 こうした構成を行う場合、全てのクライアントのデータがサーバーを介し、各クライアントへ流れ込みます。そのため、通信速度は下り速度がボトルネックとなります。ここでは人口75%ラインの88Mbpsを上限として考えます。 先ほどの1人当たりのトラッキングに関わる通信量から算出すると、スター型の場合、801～5,340人が通信の限界になります。 フルメッシュ型ネットワークの場合 一方で、サーバーを介しないクライアント同士が直接つながるフル
渡辺明名人、１秒間に8000万手読むコンピュータを購入しディープラーニング系のソフトも導入（１）（松本博文） - エキスパート - Yahoo!ニュース
【渡辺明名人】37歳。名人・棋王・王将の三冠を保持し、現将棋界の序列１位。近年はコンピュータ将棋（AI）を用いての綿密な研究でも知られる。ほとんどの棋士を相手に勝ち越し「現役最強」とも言われるが、棋聖戦五番勝負では藤井聡太棋聖に挑戦して敗れた。 （７月某日、LINEにて、渡辺名人が研究用の新しいマシンの購入を検討しているという話になり） 渡辺 将棋ソフト用のパソコンと最新のソフト事情について教えてもらいたいんですけど。 松本 それなら水匠開発者の杉村達也さんが適任です。ご紹介しますよ。 渡辺 ディープラーニング系のソフトってなに？ってところですよ、私は（笑） 松本 ますますちょうどいい。私もそのあたり、さっぱりわからないので（笑）。ところで新しいマシンを買うのだと、たとえば藤井聡太さんみたいなモデルはCPUだけで50万円らしいですね。 松本 ということは、トータルで予算80万円ぐらいですか
リンク www.pasonisan.com 【CPU知識】クロック数が高いほど値段が高い理由 なぜ、高クロックのCPUは、同ファミリーの低クロックよりも値段が高いのか？高クロックCPUの値段が高いのは、希少価値によるもの。パッケージ化されているCPUにはダイが組み込まれている。 9 users 6
夜な夜なBlender生活の始め方
はじめに Blender。めっちゃ楽しいです。 仕事が終わって帰ってきてから、ほぼ朝の時間までBlenderにひたすら打ち込んで 休日の大半もBlenderに捧げるような生活をここ3週間くらい続けてきました。 ここまでの学びの整理と、Blender布教のために この記事に概要をまとめたいと思います。 Blenderの世界観 Blenderを始めるにあたって、まず第一にぶち当たる壁として 「3Dソフト特有の概念」があると思います。 他の、3Dソフトを触ったことがある人はすんなり扱えるかもしれませんが、 僕はなかったので、概念理解にちょっと苦戦しました。 Blenderの世界を構成する主な要素として シーン オブジェクト ライト カメラ これらが挙げられます。 シーンとは、 一つのBlenderファイル内に格納されている要素全てを包含する3Dワールドのようなものです。 オブジェクトとは、 一次
Steven J. Vaughan-Nichols （Special to ZDNET.com） 翻訳校正： 石橋啓一郎 2020-07-04 08:30 Linuxの生みの親であるLinus Torvalds氏は5月、Linuxカーネルメーリングリスト（LKML）で、次期バージョンである「Linux 5.7-rc7」の最近の開発状況について説明した。同氏はその中で、「15年ぶりに自分のデスクトップをIntelベースではないマシンにした」と述べている。最新の開発用マシンには、「AMD Threadripper 3970X」が搭載されているという。しかし、CPUがどれだけ高速でも、コンピューターの性能はそれだけでは決まらない。筆者は同氏にインタビューして、新マシンの詳しい構成を聞いてみることにした。 まず、同氏は既に新しいマシンのパフォーマンスに感動しているという。 「『allmodconf
どうも、まさとらん（@0310lan）です！ 今回は、フロントエンド開発者およびこれから学習をしようと考えている人に最適な無料リソースを厳選してご紹介します。 学習コンテンツばかりでなく、開発に便利なサービスやツールなども紹介しつつ、初心者から中級者くらいまで役に立つドキュメントもまとめています。すべて無料なのでWeb開発にご興味ある方はぜひ参考にしてみてください！ ■何を学習したらいいのかをロードマップで確認する 【 Developer Roadmaps 】 フロントエンドの学習といっても意外に広範囲なので、まずは何から勉強をすればいいのか迷う人も少なくありません。この「Developer Roadmaps」はWeb開発者が勉強するための学習内容をロードマップとして無償公開しています。 さまざまな種類が用意されていますが、例えばフロントエンドの場合は以下のような感じです。 有名なロードマ
【9/9追加分あり】画像を高画質化する AI の Real-ESRGAN、ウルトラスーパーガチで凄すぎて超絶ビビってるwaifu2x-caffe と違って Intel Graphics に対応してるらしくノート PC でも爆速でアップスケーリングできるし、精度も段違い（2枚目: Before 3枚目: After）なぜ話題になっていないのか不思議なレベルだ…
Torishima / INTP @izutorishima アニメリアタイと DTV と技術とﾌﾟﾛｸﾞﾗﾐﾝｸﾞとその他諸々なオタク (⚠⚠⚠AI研究者ではありません!!!フォロー非推奨!!!⚠⚠⚠) IT と AI 関連の情報ウォッチしてます 同IDで Bluesky にもいます 時間掛けて書いた見てほしいツイートはハイライトに (2023/12~) note.com/sumisutori Torishima / INTP @izutorishima 画像を高画質化する AI の Real-ESRGAN、ウルトラスーパーガチで凄すぎて超絶ビビってる waifu2x-caffe と違って Intel Graphics に対応してるらしくノート PC でも爆速でアップスケーリングできるし、精度も段違い（2枚目: Before 3枚目: After） なぜ話題になっていないのか不思議なレベ
昨年、メルカリのようなサービスを、10万円で作る方法を考えてみるというnoteを書いたところ、6万回近く読んでいただけました。ノーコードというプログラミングのコードを書かずにいろいろなwebサービスやアプリを作れるツール群についてのnoteだったわけですが、その中に下記のようなツイートを貼り付けていました。 メルカリみたいなサービスを作ってみたhttps://t.co/lXe5towLjp 決済はできないようにしてるんだけど、実はこれ 一切コードを書かずに作ってます。 これから新規サービスを始める方は、プログラムを書いて作るか、ツールを使って作るかよく考えた方がいいかも。 pic.twitter.com/CzjpEil1Px — しんじ🇻🇳NoCodeスクール (@__shinji__) October 14, 2019 こちら、Bubbleというノーコードツールを用いて作ったのですが
CPU律速なRuby/Pythonコードはデフォルト設定のdocker上で遅くなる - まめめも
English version 要約 dockerはデフォルトでセキュリティ機構（Spectre脆弱性の対策）を有効にします。この影響で、RubyやPythonのようなインタプリタは速度が劣化します。特にCPU律速なプログラムで顕著に遅くなります（実行時間が倍くらいになることがあります）。 現象 Rubyで1億回ループするコードを、直接ホスト上で実行する場合と、docker上で実行する場合で実行時間を比較してみます。 直接ホスト上で実行した場合： $ ruby -ve 't = Time.now; i=0;while i<100_000_000;i+=1;end; puts "#{ Time.now - t } sec"' ruby 2.7.1p83 (2020-03-31 revision a0c7c23c9c) [x86_64-linux] 1.321703922 sec docker
「量子理論の副産物に過ぎなかった」──東芝の「量子コンピュータより速いアルゴリズム」誕生秘話：「量子コンピュータとは何か」を問う“新たな壁”（1/5 ページ） 今、量子コンピュータの一種である「量子アニーリングマシン」で高速に解けるとされる「組合せ最適化問題」をより速く・大規模に解くべく、各社がしのぎを削っている。 米Googleと米航空宇宙局（NASA）が2015年に「従来のコンピュータより1億倍速い」と評した量子アニーラ「D-Wave」を作るカナダD-Wave Systems、量子アニーリングを模したアルゴリズムをデジタル回路上に再現する富士通と日立、光を用いて解く「コヒーレント・イジングマシン」を作るNTTの研究グループなどだ。IBMなどが作る「量子ゲート方式」の量子コンピュータを用いた組合せ最適化計算の研究も盛んだ。 各社が組合せ最適化計算に取り組むのは、これを高速に解けると交通渋
コンピュータ基礎講座 第1回
第1世代は真空管、第2世代はトランジスタ、第3世代はIC、第4世代はLSIとなります。ちなみに第5世代プロジェクトは並列推論マシンの開発を目指しました。 世界初のコンピュータ（電子計算機）は1942（昭和17）年、アメリカ・アイオワ州立大学で開発されたABCですが、これは実用機ではありませんでした。続いて1943（昭和18）年、イギリスで開発された暗号解読用のコロッサス。実用第1号として有名なのは1946（昭和21）年に弾道計算用として開発されたエニアックです。1万8800本の真空管を使用し、重さ30トン、面積は165平方メートル（50坪）あり、これまでの計算機で24時間かかっていた計算を30秒でできるというものでした。 日本では1956（昭和31）年にレンズ設計用として富士写真フィルムの「FUJIC」が開発されていますが、電子計算機の先駆けともいえる国産初のリレー式計算機を1953（昭和
もともとWindowsを利用していた筆者ですが、MacBook ProがRetina化した際にMacユーザーデビューし、そこからMacを愛用していました。しかし、この度Windowsへ戻ることにしました。理由を紹介します。 なぜWindowsに戻るのか 理由は2つ。Catalinaが酷すぎるから、そしてMacBook Pro 2018が酷いから。 Catalinaは筆者の環境では作業中に突然電源が落ちたり、レインボーサークルが表示され操作不能になったり作業や仕事がままならないときが多くありました。Mojaveではこのような症状は一切起きなかったので、これはCatalinaの問題かと思います。 MacBook Pro 2018は熱が酷いです。ノートパソコンな故ある程度排熱が厳しい面がありますが、フルパワーで使うとCPU温度が100度を超えるときが頻繁にありました。その状態で使い続けると電源が
ケンタッキーフライドチキンが「KFConsole」を正式発表。嘘じゃなかった、チキンを熱々に温められるゲーミングPC - AUTOMATON
ケンタッキーフライドチキンのゲーム部門KFC Gamingは12月23日、かねてより予告していた新型ゲーム機「KFConsole」を正式発表した。先日には、12月18日にリリースすると予告されていたが、実際には同日からカウントダウンが開始し、今回の発表となった。 KFConsoleは、今年6月から予告されていた新型ゲーム機。KFCのバーレル容器を思わせる筐体に、クロック周波数11GHzという謎のZinger製プロセッサを搭載、さらにチキンを焼けるチキンチャンバーまで内蔵するという嘘くさい仕様が明かされ、KFC Gamingお得意のジョークだろうと思われていたが、実際に製品にしてしまうようだ。 今回披露されたトレイラーでは、筐体のデザインがやや変更され、ディスクドライブも無くなってはいるものの、チキンチャンバーは引き続き搭載する製品の様子が見て取れる。このKFConsoleは、実のところはP
ThinkPadユーザならお馴染みのLenovo Vantageから、「BIOSとIntel MEの更新があるので、今すぐ適用してね！」とポップアップが出たため実行したところ、フラッシュが終わったと思しき後から起動しなくなりました。 それを直した時のメモ。 環境メモ 修理方法 EEPROMの特定とROM Programmerの選定 CH341Aについて チップへの接続方法 2023/1/1 14:00 ICパッケージについての追記 オリジナルのバックアップ ファームウェアの解析 ダウンロードデータとの比較 What's next? Write時の罠 本当に正しく書けたのか？ 再書き込み しかし…まだ罠はあった 成功か？……ん…？ 晴れて成功！ 固有データの復元は？ 参考文献 環境メモ マシンThinkPad X13 Gen2 Type Number20WK-CTO1WW 2021/06製
コンピュータは難しすぎる｜shi3z｜note
コンピュータは非常に便利なのだが、ほとんどのコンピュータユーザーがその能力の1%も使えてないのではないか。そんな気がするのだ。 というか、コンピュータの能力が人類の進歩に比べて上がり過ぎてる。 おかげでゲームもAIもビデオ編集も手軽になった。 MacBookの新しいCPUが発表されたのだが、40%高速化したというニューラルエンジンを一体全体何に使えばいいのか、人工知能の研究者である吾輩にもわからないので、これを使いこなすことができる人は将来登場するのだろうか。 コンピュータの能力を真に最大限引き出すには、残念ながらプログラマーになるしかない。しかも、マシン語レベルの最適化ができるプログラマーである。 プログラムさえ丁寧につくればコンピュータの持つ潜在能力は圧倒的に高い。だがコンピュータに比べて人間は頭が悪すぎる。 結局のところ、道具がどれだけ進歩しても使う側の人間の想像力が追いつかないと全
たった99秒で「CPUの作り方」がわかるムービー
現代人の日常生活には欠かせないPCやスマートフォンをはじめ、コンピューターを組み込んだ電化製品にはCPU(中央演算ユニット)やGPU(グラフィックス演算ユニット)と呼ばれる半導体チップが搭載されています。こうしたCPUやGPUなどの半導体チップがどうやって作られるかをたった99秒で説明するムービーを、ソフトウェアコンサルタントのロバート・エルダー氏が公開しています。 Man Solves Global Chip Shortage In 99 Seconds - YouTube まず石を拾います。 拾った石を粉々に砕きます。 すると純度98％の二酸化ケイ素ができました。 これをさらに純度99.9％の二酸化ケイ素に精製します。 さらにこの二酸化ケイ素を、99.9999999％の多結晶シリコンに精製します。化学式はSiO2＋2C→Si＋2COです この多結晶シリコンを高温で溶融します。 温度は1
電子情報学特論： Chromium のアーキテクチャを解き明かす 〜 EEIC の授業が生きるプロダクトの世界〜 Kentaro Hara 2022 April (๑>ᴗ<๑) * * * *
キャッシュは、CPUのバスやネットワークなど様々な情報伝達経路において、ある領域から他の領域へ情報を転送する際、その転送遅延を極力隠蔽し転送効率を向上するために考案された記憶階層の実現手段である。(引用: フリー百科事典『ウィキペディア（Wikipedia）』) こんにちは、@kaa_a_zu です。私たちエンジニアは、「キャッシュ」というワードをよく口にしています。それはインフラの設計をしている時かもしれないし、表示されるコンテンツが変わらない時かもしれないし、パフォーマンスの改善をしている時かもしれません。普段何気なく使っている「キャッシュ」とは一体何なのでしょうか。この記事は、そんな「(Webフロントエンドを触るエンジニアが知るべき)キャッシュ」について、どんなものがあるのかがちょっと分かったという状態になることを目的に書いています。
今回はStable Diffusionでリアル系イラストを生成できるモデルを紹介します。 Stable Diffusionではどのようなモデルを使用するかによって、生成される画像のクオリティが大きく変わりますので、モデルの選択は重要な要素となります。 本記事で紹介するモデルは、どれも実写と見分けがつかないほどハイクオリティなイラストを生成できますので、ぜひ試してみてください。
今回は以前からリクエストが多かったIntel N100搭載のミニPCをレビューしていきます〇ご質問やリクエストなどはこちらへ：https://peing.net/ja/saityo_zunda〇音声読み上げ・VOICEROID2 https://www.ah-soft.com/product/series.html〇登場キャラクター・VOICEROID+：東北きりたん・VOICEROID2：音街ウナ〇動画内で使用させていただいているBGM・fun fun Ukelele：shimtone 様 https://dova-s.jp/bgm/play16650.html〇その他素材・pixabay さま https://pixabay.com/ja/ ・効果音ラボ さま https://soundeffect-lab.info/〇投稿者のTwitter https://twitter.com/S
Linux システムコール 徹底入門
Linux システムコールについて調べたことをまとめる。システムコールの仕組みを理解すると、 OS とアプリケーションがどのように連携して動いているのかを理解できるようになります。 システムコールは CPU に依存する処理が多いため、 x86_64 に絞ります。 検証環境]# cat /etc/redhat-release CentOS Linux release 8.0.1905 (Core) ]# uname -a Linux localhost.localdomain 4.18.0-80.11.2.el8_0.x86_64 #1 SMP Tue Sep 24 11:32:19 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux ]# cat /proc/cpuinfo | head processor : 0 vendor_id : GenuineInte
長い記事なので先に結論を書きます。 Spectre の登場で、ウェブサイトに必要とされるセキュリティ要件は増えました。具体的に必要な対策は下記の通りです。 すべてのリソースは Cross-Origin-Resource-Policy ヘッダーを使って cross-origin なドキュメントへの読み込みを制御する。 HTML ドキュメントには X-Frame-Options ヘッダーもしくは Content-Security-Policy (CSP) ヘッダーの frame-ancestors ディレクティブを追加して、cross-origin なページへの iframe による埋め込みを制御する。 HTML ドキュメントには Cross-Origin-Opener-Policy ヘッダーを追加して popup ウィンドウとして開かれた場合の cross-origin なページとのコミュニ
何がすごいってM1チップとも呼ばれているApple SiliconのCPU。今までのIntel CPUモデルに比べて圧倒的なハイパフォーマンス。そしてバッテリーの持ち。キッティングはもちろんゼロタッチデプロイ。サイボウズの社長も大絶賛しています。 高速M1搭載 Macbook Pro が早くもサイボウズ情シス公認の標準端末に。これでZoomつないでパワポでプレゼンしながらChromeのタブを開きまくってもサクサク動作。サイボウズに勤めててよかったよ！ しかも情シスの手を煩わすことなく完全リモートセットアップが可能に。採用が増えても出社不要で安心！ https://t.co/Dlg1qQ4kLS — 青野慶久/aono@cybozu (@aono) March 5, 2021 今年の秋にハイスペックの新モデル M1 Pro / M1 Max MacBook Proも発売されましたが、一般的な
かわなえ@イラスト on Twitter: "Stable Diffusionが一般公開されて自分のPCで動かせるようになったので、全く知識がないけど環境を構築してみました。ちょっと忘れないように簡単にまとめてみる。(1)"
Stable Diffusionが一般公開されて自分のPCで動かせるようになったので、全く知識がないけど環境を構築してみました。ちょっと忘れないように簡単にまとめてみる。(1)
PHPとPythonとRubyの連想配列のデータ構造が同時期に同じ方針で性能改善されてた話 - hnwの日記
PHPとPythonとRubyの連想配列のデータ構造がそれぞれ4〜5年ほど前に見直され、ベンチマークテストによっては倍以上速くなったということがありました。具体的には以下のバージョンで実装の大変更がありました。 PHP 7.0.0 HashTable高速化 (2015/11) Python 3.6.0 dictobject高速化 (2016/12) Ruby 2.4.0 st_table高速化 (2016/12) これらのデータ構造はユーザーの利用する連想配列だけでなく言語のコアでも利用されているので、言語全体の性能改善に貢献しています1。 スクリプト言語3つが同時期に同じデータ構造の改善に取り組んだだけでも面白い現象ですが、さらに面白いことに各実装の方針は非常に似ています。独立に改善に取り組んだのに同じ結論に至ったとすれば興味深い偶然と言えるでしょう2。 本稿では3言語の連想配列の従来実
「神の一手」の裏側に。 2021年、3月23日。 将棋界に、衝撃が走った。 ある対局で、彼の放った「4一銀」。 それは、人類には指せない「神の一手」と言われた。 なぜ彼は、そこまで強いのか？ その鍵は、将棋ソフトを用いた独自の研究にある。 ハイスペックなCPUを用いたコンピューターで 膨大な手数を読むことにより、 最善手を導き出すのだ。 将棋の真理に、辿り着くために。 人間の限界に、挑むために。 この競技への熱き想いが、彼をかりたて、突き動かす。 情熱と生きる人へ。 Sota Fujii×AMD 藤井聡太×AMD 将棋棋士の藤井聡太さんが、AMDのブランド広告に出演。 AMDを搭載したPCで、日頃の将棋研究に励むなど、 以前よりAMDユーザーであったことから、このオファーは実現しました。 近年、将棋界ではAIソフトを活用したトレーニングが常識となり、 AIの力を最大限に発揮するための環境が
リングバッファのイメージ図 1. リングバッファとは何か 機能的にはFirst In First Out (FIFO)とも呼ばれるキューの一種であるが、リング状にバッファを置いてそれの中でReadとWriteのインデックスがグルグルと回る構造をとる事によって容量に上限ができることと引き換えに高速な読み書き速度を得たものである。キューを単に実装するだけなら山ほど方法があって線形リストを使ってもいいしスタックを2つ使っても原理的には可能だ。その中でもリングバッファを用いた方法の利点はひとえに性能の高さでありメモリ確保などを行わないお陰でシステム系の様々な場所で使われている。 これの実装自体は情報系の大学生の演習レベルの難度であるが少し奥が深い。まずリングバッファのスタンダードなインタフェースと実装は以下のようなものである。 class RingBuffer { public: explicit
Arm入門勉強会とは、macOSがArmに移行したこの機にArmアーキテクチャでのプログラミングについて入門するソフトウェアエンジニアのための会です。今回主催の@nullpo_head 氏が、Armの仮想化支援機構について、その仕組みから深く説明します。前半は「現代のハードウェア仮想化支援機構」について。全２回。 ハードウェア仮想化支援とは何か 佐伯 学哉氏：入門セッション3つ目は『Armの仮想化支援機構』についての入門セッションです。どうぞよろしくお願いします。 本発表のスタートとゴールです。VMwareとかQemuとか使ったことあるけど仮想マシンの仕組みなんも知らんというところがまずスタートになっています。 1個目のゴールは、最近のVMのざっくりした仕組みとハードウェア仮想化支援とは何かということがわかること。そしてその話のあとに実際にArmの仮想化支援機構の概要を説明し、Armの仮想
なぜもっとたくさんのコアを搭載したCPUを作らないのでしょうか？2000コアのGPUなんかそこら辺にありますが、なぜCPUでは同じようにできないのでしょうか？
回答 (9件中の1件目) 質問に間違いがありますね。 2000個のコアが入ったGPUなんかありません。企業の広報は違った(間違った)方法で計算して数字を大きく見せています。 Radion 6900XTの本当のコア数(DCU)は、5120個ではなく、40個です。こちらでダイの写真を確認でき、4*5のコアが2グループあります。 各コア(DCU)には32レーンのSIMDユニットが4つあり、各コアには並列に動作する32 bitの浮動小数点演算ユニット(FMA)が128個あり、チップ全体としては32 bitのFMAが5120個同時に動きます。 Zen2とZen3のCPUコアはどちらも256...
Web系の会社にいると，仕事用のPCとしてMacを支給されることが多いと感じている．例にもれず俺も会社ではMacBook Proを使っていたのだけれど，最近Macが使い物にならないくらい遅くなってきた． そもそもそんなに新しいMacではないというのはあるんだけれど． もはやローカルでの開発はほぼDocker化してしまっているので，なにをするにもDockerを起動する必要がある． しかし，Docker for Macは遅い．とくにvolume mountが遅すぎて，webpackなんか走らせたらお茶を入れに行くくらいの猶予が発生する． ---追記--- webpackだけならdockerじゃなくていいじゃんと言われたので，一応弁明しておくと，webpack以外もあります． DjangoとかElasticsearchとかElasticsearchとかlocalstackとかredisとかDja
ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能
OpenAIの対話型AI「ChatGPT」は史上最も急速な成長で「月間1億ユーザー」をわずか2カ月で達成するなど、大いに注目を集めています。それに伴い、GoogleがChatGPTのライバルとなる会話型AI「Bard」を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています。AIのディープラーニングトレーニングを最適化するオープンソースプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開しています。 Open-source replication of ChatGPT implementation process!
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
)
6万ミリ秒でできるLinuxパフォーマンス分析 | Yakst
【解説】 中国と台湾の関係、すごく分かりやすく説明 - BBCニュース
メタバースの技術限界の解説 - Qiita
「知らなかった」「例えが秀逸」CPUの性能は実は野菜の等級感覚で取れた物を計測して実力差で分けてるらしい
【特集】 高いルーターと安いルーターの速度差はどれくらい？8千円～4万円台の3機種を比較
Linuxの生みの親トーバルズ氏の最新自作マシンを徹底解剖--本人のコメント付きで構成を紹介
フロントエンドを集中的に学習できる究極の無料リソースを厳選してみた！ - paiza times
2030年 「エンジニアです。コードは書けません。」｜__shinji__
「量子理論の副産物に過ぎなかった」──東芝の「量子コンピュータより速いアルゴリズム」誕生秘話
もう諦めました。約8年間Macユーザーだった僕がWindowsに戻った理由 - すまほん!!
BIOS更新で文鎮化してしまったThinkPad X13 Gen2を自力で直したメモ
電子情報学特論：Chromiumのアーキテクチャを解き明かす
【特集】 Windows 11で必須になった「TPM 2.0」って何？TPMの役割や確認方法を紹介
ゲーミングPCが4万円チョイで手に入る方法、教えます ～ 中古PC＋新品ビデオカード活用術 ～ MSI GeForce GTX 1650 4GT LP編 Text by 芹澤正芳
フロントエンドエンジニアが知るべきキャッシュを理解する
Stable Diffusionのフォトリアル系（実写）モデルを紹介 | Murasan Lab
【コスパ最強PCか】22800円で「N100・メモリ16GB」ってマジか！？"安すぎる"ミニPCを自腹レビュー。
Spectre の脅威とウェブサイトが設定すべきヘッダーについて
サイボウズの情シスが（独断と偏見で）選ぶオススメのIT機材、備品 10選 2021年版｜あおてつ
藤井聡太 × AMD | 「神の一手」の裏側に。 | AMD
徐々に高度になるリングバッファの話 - Software Transactional Memo
VM環境のCPU仮想化はどうやって実現しているのか ハードウェア仮想化支援機構の仕組み
仕事用のPCをMacからThinkpadに変えてUbuntuを入れた - PartyIX
声以外が消える!? 無料のノイズ除去「NVIDIA Broadcast」がスゴい【藤本健のDigital Audio Laboratory】
