米GoogleのクラウドサービスGoogle Cloudは1月25日（現地時間）、オープンソースのAI開発プラットフォームを手掛ける米Hugging Faceと「生成AIおよびML開発を加速する戦略的パートナーシップ」を結んだと発表した。開発者はGoogle Cloud上でオープンモデルを迅速かつコスト効率よくトレーニング、調整、提供できるようになるとしている。 Hugging Faceを利用する開発者は、プラットフォームから数回クリックするだけでGoogle CloudのVertex AIを使ってモデルをトレーニングできるようになり、モデルのトレーニングと微調整を支援するGoogle Kubernetes Engine（GKE）も使えるようになる（2024年前半）。 Google Cloudでは、米NVIDIAのH100 TensorコアGPU搭載のA3 VMのサポートが追加される見込み
深層学習のための分散キャッシュシステム - Preferred Networks Research & Development
エンジニアの上野です。Cluster Servicesチームという、PFNのKubernetesベースの機械学習基盤を開発・運用するチームに所属して、基盤の改善や新機能の開発に務めています。本記事では、深層学習における学習データセット読み込み速度の改善を目指して開発し、現在もKubernetes上で運用中の分散キャッシュシステムを紹介します。 PFNの機械学習基盤については、ブログ「2022年のPFNの機械学習基盤」もご参照ください。 深層学習における学習データセット読み込み 深層学習を高速化するため、深層学習に向いたアクセラレータの開発が日々続けられています。PFNで開発しているMN-Coreシリーズや、NVIDIA社製GPUもそのひとつです。これらのアクセラレータは高速に行列演算を行うことができ、深層学習の1イテレーションにかかる時間を高速化、ひいては深層学習を活用する研究開発全体を加
iCAST 2020 Invited Talk: Fairness in AI Service and Awareness for Computational Social Science
GitHub - google/magika: Detect file content types with deep learning
Magika is a novel AI powered file type detection tool that relies on the recent advance of deep learning to provide accurate detection. Under the hood, Magika employs a custom, highly optimized Keras model that only weighs about 1MB, and enables precise file identification within milliseconds, even when running on a single CPU. In an evaluation with over 1M files and over 100 content types (coveri
Apple・Google・Microsoft・Mozillaが協力して開発するベンチマークツール「Speedometer 3.0」が登場
Apple、Google、Microsoft、Mozillaといったテクノロジー大手が協力して開発するベンチマークツール「Speedometer 3.0」が発表されました。 BrowserBench.org — Announcements https://browserbench.org/announcements/speedometer3/ Improving Performance in Firefox and Across the Web with Speedometer 3 - Mozilla Hacks - the Web developer blog https://hacks.mozilla.org/2024/03/improving-performance-in-firefox-and-across-the-web-with-speedometer-3/ Speedomet
【独自】万博は「残念やけど中止に」大阪府が提供のＡＩ活用チャット大ちゃんが回答（MBSニュース） - Yahoo!ニュース
大阪府が提供する生成ＡＩを活用したチャットサービスが、万博に関する質問について「残念ながら中止」などと回答する現象が起きていることがわかりました。 大阪府が生成ＡＩを活用して今年９月から提供しているサービス「大ちゃん」。しかし、記者が「大阪の万博は中止ですか？」と質問してみると、「残念やけど中止になってしまいました」と答えます。また、開催時期について聞くと、正しくは「２０２５年４月から」ですが「２０２５年３月から」と誤った回答をしていました。 府によりますと、「大ちゃん」は利用者に寄り添い会話を楽しむ目的で作られていて、生成ＡＩはインターネットなどのあらゆる情報を学習するため、正確性に欠ける部分があるということです。こうした情報はＳＮＳでも拡散されていて、府は状況を確認した上で、「修正できる部分があれば修正したい」としています。
PyTorch の社内勉強会の題材にしたいと思い立ち、畳み込みニューラルネットワーク（Convolutional Neural Network, CNN）を用いた自己対戦型強化学習の三目並べ AI を実装したので公開します。見通しの良いシンプルな実装を目指しました。結局、それなりのコード量になってしまいましたが。 動作環境 Google Colaboratory の CPUランタイムにて動作を確認しました。 概略 おおまかな処理フローは次図の通りです。盤面情報を受け取った先攻方策と後攻方策は、○×を書き込む場所を返します。この先攻方策と後攻方策に AI を実装し自己対戦させます。 盤面情報は、空白マスをゼロ、先攻 ○ を+1、後攻 × を-1とした形状 (H,W)=(3,3) の二次元配列とします。 盤面座標は、場合により二次元座標と1次元に展開したフラット座標を使い分けます。 三目並べの
大規模言語モデルを自作しよう！(Transformers+DeepSpeed+torch.compile+flash_attn2）
本記事は、LLM Advent Calendar 2023 13日目の記事です。 はじめに 🤗 Transformersは、自然言語処理、マルチモーダル、音声処理、コンピュータビジョン分野の事前学習済モデルを簡単にダウンロードしトレーニングすることが可能なpythonライブラリです。このライブラリを使用し、大規模言語モデル（LLM）の事前学習済モデルをローカルPC上にダウンロードし、それを使用した言語生成や、要約・翻訳・質問応答などの個別のタスクへのファインチューニング、チャットAIへの組み込みなどが盛んに行われています。 LLMの事前学習方法に関する情報としては、GPT-NeoXやMegatron-LM、TinyLlama、lit-llamaなど、他のpythonライブラリを使用したものが増えてきています。一方で、Transformersライブラリを使用したLLMの事前学習に関する情報
この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 このシリーズが良いと思った方はぜひ共有もよろしくお願いします！ 前回（第一回） https://youtu.be/tc8RTtwvd5U?si=15_MXStvqOZqL74O （英語版概要欄より）------------------------------------- さらに学びたい方へ、Michael Nielsenの本 http://neuralnetworksanddeeplearning.com こちらの本ではシリーズで扱われている例のコードを説明していきます： https://github.com/mnielsen/neural-networks-and-deep-learning MNIST d
「米国がAI市場も支配する」という構図を阻むフランス新興企業の挑戦 | パリ拠点の「ミストラルAI」がシリコンバレーの巨人に挑む
昨年の今ごろ、アーサー・メンシュ氏は30歳で、まだ米グーグルの傘下部門に勤めていた。当時は人工知能（AI）がSF以上のものとして人々の意識に定着し始めたころだった。 それ以降、人間のような会話だけでなく推論さえもできる生成AIは、ここ数十年で最も話題となった技術的ブレークスルー（画期的発明）となった。そして、メンシュ氏がグーグル退職後に立ち上げたスタートアップ企業「ミストラルAI」は、設立から9ヵ月で評価額が20億ドル（約3000億円）強に達している。 こうした変化の速さは、高度なAIシステムの構築および商業化に向けた活動を取り巻く熱狂──そして恐怖──を反映している。
Microsoft Build 2023 キーノートまとめ - Windows Copilot、Microsoft Fabric、Azure AI Studioなどを発表 - 吉田の備忘録
はじめに Edge Copilot の動画から始まりました。「この時代のAIで開発者と祝う短い動画のための文章を書いて。この動画はMicrosoft Buildのオープニングで利用します。感動的なものにしてください。そして…」 「私たちはAIの新しい時代に突入しようとしています。創造する速度と同じ速度で開発でき…」 「クリエイティビティは無限となり」 「そして、より大きな課題に取り組むことができます」 「未来を作り上げ、人類の進歩を加速させるために今日、貢献できるように」 「その未来を一緒に作り上げましょう」 また皆さんに対面であえて光栄です。いま、プラットフォームの変革が訪れようとしているこの時に、 このような開発者カンファレンスは特別な場所（Microsoft Build ）となります。 私にとっても1991年に初めてMousconiセンターで開催された開発者向けのカンファレンス「 P
We use GPT-4 to automatically write explanations for the behavior of neurons in large language models and to score those explanations. We release a dataset of these (imperfect) explanations and scores for every neuron in GPT-2. Language models have become more capable and more broadly deployed, but our understanding of how they work internally is still very limited. For example, it might be diffic
画像生成AIの存在はすでに当たり前のものになりつつあります。広告やメディアに掲載されているイラストや写真のほか、私たちが普段使っている検索エンジンやブラウザにも搭載されるようになり、気軽に新しい画像を作れるようになりました。このような画像生成AIの急速な普及の背景にあるのが、画像生成AIの学習モデルに採用された「拡散モデル」の存在です。現在、ほとんどの画像生成AIサービスに採用されている「Stable Diffusion」もこの拡散モデルの1つです。本記事では、拡散モデルとは何か、仕組みや事例についてやさしく解説していきます。 合同会社Noteip代表。ライター。米国の大学でコンピューターサイエンスを専攻し、卒業後は国内の一部上場企業でIT関連製品の企画・マーケティングなどに従事。退職後はライターとして書籍や記事の執筆、WEBコンテンツの制作に関わっている。人工知能の他に科学・IT・軍事・
毎年恒例の開発者向けフラッグシップイベント「Microsoft Build」へようこそ。 ブック・オブ・ニュースの目標は、私たちが行うすべての発表へのロードマップを、必要なすべての詳細とともに提供することです。私たちの目標は変わりません。最新のニュースをできるだけ簡単にナビゲートし、お客様が最も興味をお持ちのトピックに関する重要な詳細を提供することです。 Microsoft Buildは、開発者のために設計されたイベントです。AIがテクノロジー分野の話題を独占している今、今年のイベントでAIが重要な役割を果たすことは理にかなっています。 私たちは、あらゆる開発者があらゆるプログラミング言語を使用し、あらゆるオペレーティングシステムでコードを書き、どこでもアプリケーションを展開できるようにするという目標を語っています。開発者がより多くの選択肢を持てるようになったAIの新時代において、私たちは
言語における「一般化」を人間のように行えるニューラルネットワークの開発に成功したことが、2023年10月25日に科学誌のNatureに掲載された論文で報告されました。ChatGPTのような人間と自然に対話可能なチャットボットでも、言語の一般化は非常に難しいため、このニューラルネットワークの登場により対話型AIのさらなる進化が見込めると科学誌のNatureが指摘しました。 AI ‘breakthrough’: neural net has human-like ability to generalize language https://www.nature.com/articles/d41586-023-03272-3 Chatbots shouldn’t use emojis https://www.nature.com/articles/d41586-023-00758-y 人間は言語
ヒントンの教え子が進める「スーパーアラインメント」 われわれはいまいったい何をするのか──それが大きな疑問だ。 2023年10月、ヒントンは前に進む道を提案した。ある公開書簡で、ヒントンと23人の国際的なエキスパートは名だたるAIラボに、それぞれのシステムが確実に安全で倫理的であるようにするため、研究・開発予算の3分の1を充てることを呼びかけた。 彼らは諸政府にも、大規模AIシステムの登記簿を作り、危険な行動を見せるAIの事例報告を企業に義務づけ、内部告発者を法的に保護することなどを勧めた。 AIラボや立法者がこうした勧めを聞き入れるかどうか判断するのは時期尚早だ。だが、現在76歳のヒントンは、その先陣にはこれ以上長くは立たないだろうという事実を受け入れている。世界を救う汚れ仕事は、次世代の肩にかかっているのだ。 人類にとっていちばんの希望となるかもしれないのが、ヒントンの元教え子であるイ
本ブログはこんな人におすすめ RAG (Retrieval Augmented Generation)を使ったアプリケーションを開発しているけど評価に関心のある人 LLM (Large Language Model)やRAGのハルシネーションをどう評価するのかに関心のある人 Ragas (RAGの評価ライブラリ：Retrieval augmented generation assessment)の挙動に興味がある人 こんにちは。私はBeatrustのML周辺のお手伝いをしている鈴木宏和と申します。今回はこれから3つのパートに分けて紹介させていただきますが、LLMの応用として特に注目を集めているRAG (Retrieval Augmented Generation)について、RAGの評価の必要性とアプローチ方法について考察しつつ、RAGに特化した評価ライブラリであるRagasの有用性に関する
はじめに リークって何? リークの例 テーマ概要 使用できるデータ,手法 例 例1.運用時に使えない情報を使ってしまう 例2.更新された情報を使ってしまう その他例 リークを回避するためには? ドメイン知識をもとにした確認 データを正しく理解する 重要特徴量からの判断 特徴量作成後の可視化 自分がやったことを信用しすぎない まとめ We Are Hiring! はじめに こちらは、ABEJAアドベントカレンダー2023の13日目の記事です。 こんにちは！ABEJAでデータサイエンティストをしております松村です。2021年の入社時から地元広島からフルリモートで働いており、早いものでもうすぐ3年が経過します。 今回は、データサイエンティスト誰もが一度は直面するリーク問題について考えてみました！ リークって何? 「機械学習におけるリークとは何か?」について一言で言うと、本来使うことのできない情報
The first AI model based on Yann LeCun’s vision for more human-like AI
Our work on I-JEPA (and Joint Embedding Predictive Architecture (JEPA) models more generally) is grounded in the fact that humans learn an enormous amount of background knowledge about the world just by passively observing it. It has been hypothesized that this common sense information is key to enable intelligent behavior such as sample-efficient acquisition of new concepts, grounding, and planni
Transformer is a deep neural network that employs a self-attention mechanism to comprehend the contextual relationships within sequential data. Unlike conventional neural networks or updated versions of Recurrent Neural Networks (RNNs) such as Long Short-Term Memory (LSTM), transformer models excel in handling long dependencies between input sequence elements and enable parallel processing. As a r
Microsoft、AI最適化チップ「Azure Maia 100」と汎用Armチップ「Azure Cobalt」
Microsoft、AI最適化チップ「Azure Maia 100」と汎用Armチップ「Azure Cobalt」：Microsoft Ignite Microsoftは2つのカスタム設計チップ、AIに最適化した「Maia 100」とArumベースの汎用「Cobalt 100」を発表した。「インフラストラクチャスタックのすべての層を最適化して統合することが重要」とガスリー氏。 米Microsoftは11月15日（現地時間）、開発者向け年次イベント「Microsoft Ignite」で、2つのカスタム設計チップ、AIに最適化した「Microsoft Azure Maia 100 AI Accelerator」（以下「Maia 100」）とArmベースの汎用「Microsoft Azure Cobalt 100 CPU」（以下「Cobalt 100」）を発表した。 Microsoftは現在、A
【Mamba入門】Transformerを凌駕しうるアーキテクチャを解説（独自の学習・推論コード含む） - Qiita
はじめに 薄紅色の柔らかなそよ風が恋しい今日この頃皆様いかがお過ごしでしょうか？ はじめまして。 某総合電機メーカ・某設計部門（機械設計）に属する 六花 牡丹（りっか ぼたん）と申します。 とある事情でこちらのサイトに不定期で記事を載せることがございます。 本記事ではMambaに関するアルゴリズム・数学的な原理に加え、独自に開発した学習・推論コードを示すことで基礎から応用までをカバーしています。 拙筆ではございますが、皆様のお役に立つことを心から願っております。 未熟者故、記事中にて誤記・欠落などが見られることがございます。 もし発見しました場合には、コメント等にてご指摘いただきますようお願い申し上げます。 私は記事を一般に周知する手段を有していないため、もし記事が有用であると判断された場合には、X（旧Twitter）等で拡散していただけますと幸いです。 2024/02/13 追記： X（
Low Rank Adapation(LoRA)はAIへの追加学習を少ない計算量で行うためのモデルです。このLoRAを使って、事前トレーニングされた大規模言語モデルに低コストかつ効率的にファインチューニング(微調整)を行えるシステム「Punica」を、ワシントン大学とデューク大学の研究チームが公開しました。 GitHub - punica-ai/punica: Serving multiple LoRA finetuned LLM as one https://github.com/punica-ai/punica [2310.18547] Punica: Multi-Tenant LoRA Serving https://arxiv.org/abs/2310.18547 企業や開発者が特定のタスクに適した大規模言語モデルを用意したい場合、事前学習済みの大規模言語モデルをファインチューニン
NVIDIA、生成AIモデルをPCやワークステーションで構築するための「AI Workbench」を近日リリース
米NVIDIAは8月8日（現地時間）、生成AIモデル構築のための新たな統合ツールキット「AI Workbench」を発表した。生成AIモデルをPCやワークステーション上で構築、テスト、カスタマイズできるように設計されている。必要であればそれをデータセンターやクラウドに拡張可能だ。 現在、多数の事前トレーニング済みモデルが利用可能になっているが、それを複数のオンラインリポジトリを横断して探し回り、適切なフレームワークやツールを探すのが大きな負担になっているとNVIDIAは説明する。 AI Workbenchはローカルシステム上で実行できる簡素化されたツールを介してモデルにアクセスできるため、こうした負担を軽減できるとしている。 開発者は、Hugging Face、GitHub、NVIDIA NGCなどの一般的なリポジトリのモデルをカスタマイズでき、モデルは複数のプラットフォーム間で共有できる
1. はじめに 2012年から始まった深層学習の発展の過程で、さまざまな学習フレームワークが登場しました。中でもPyTorchとTensorflowは最も広く使われており、それぞれのフレームワークが支持されている背景には、柔軟性、拡張性、そして使いやすさがあります。 一方で、これらのフレームワークはその機能を拡張し続けてきた結果として、全体として非常に巨大で複雑なライブラリになっています。そのため、独自に機能拡張を行いたいユーザーにとっては扱いづらく、性能的にもオーバーヘッドを感じさせることがあります。 そこで新たに出てきたのが「JAX」とその関連ライブラリの組み合わせになります。2019年に登場して以降、特に海外の開発者に支持されてきました。近年注目されている大規模言語モデル（LLM）の分野においても、JAXによるモデルが公開されていることは珍しくなくなりつつあります。 PyTorch（
GitHub - KindXiaoming/pykan: Kolmogorov Arnold Networks
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
PC販売などを手掛けるサードウェーブは11月1日、法人向けブランド「ドスパラプラス」で、GPUクラウドサービス「raytrek cloud」を始めた。 PC販売などを手掛けるサードウェーブは11月1日、法人向けブランド「ドスパラプラス」で、GPUクラウドサービス「raytrek cloud」を始めた。データセンター事業などを手掛けるハイレゾ（東京都新宿区）のGPUクラウドサービス「GPUSOROBAN」を代理販売する形で提供。当初はGPUSOROBANと同じサービス内容だが、今後サードウェーブ独自の施策などを検討する。
Intelは5月29日（米国太平洋夏時間）、開発コード名「Meteor Lake（メテオレイク）」のCPUに関する新情報を公開した。このCPUは、次世代の電力管理機能の他、刷新された「Intel Xe Graphics」や新しい「AIエンジン（VPU）」を搭載することでパフォーマンスの向上と省電力化を両立するという。正式な発表は「2023年後半」を予定している。 →2025年までに「1.8nm相当」に――Intelが半導体生産のロードマップを説明 Meteor Lakeの概要 Meteor Lakeは現行の第13世代Coreプロセッサ（開発コード名：Raptor Lake）の後継で、順当に行けば「第14世代Coreプロセッサ」となる予定のCPUだ。既報の主な特徴は以下の通りである。 「Intel 4（7nmプロセス）」を適用して生産される初めての製品 複数の「タイル（ダイ）」を組み合わせて
結論 GPU版PytorchのようなPyPIに存在しないパッケージにおいて、Poetry1.5.1からインストールがより簡単になりました🎉 例えば自分の環境では下記の2行でインストールできます。 poetry source add torch_cu118 --priority=explicit https://download.pytorch.org/whl/cu118 poetry add torch torchvision torchaudio --source torch_cu118
言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？
言語モデルのスケーリング則（Scaling Laws for Neural Language Models）とは？：AI・機械学習の用語辞典 用語「スケーリング則」について説明。自然言語処理モデルのサイズ（＝パラメーター数）や、データセットのサイズ、トレーニングに使用される計算量が増えるほど、より高い性能を発揮できる、という法則を指す。 連載目次 用語解説 物理学や生物学など幾つかの分野に「スケーリング則」（Scaling Laws）という用語があるが、本稿では人工知能／機械学習分野の自然言語処理におけるスケーリング則について紹介する。 ニューラル言語モデル（＝ニューラルネットワークの自然言語処理モデル）における「スケーリング則（Scaling Laws for Neural Language Models）」とは、自然言語処理モデルのパラメーター数（＝モデルのサイズ）や、データセットのサ
「ディープラーニングにおける速度限界」の論文を読む
Speed Limits for Deep Learning という論文でニューラルネットの学習過程における熱力学的速度限界の研究がされています。 先を越されてしまった感があるので紹介します。本文10ページくらいで解析式とテストデータでの興味深い結果が書かれています。 熱力学的速度限界とは非平衡な物理系において分布の変化の大きさL、エントロピー生成\sigmaに対して変化に要した時間\tauが \tau \geq \frac{L^2}{2\Lambda \sigma} というような形で制限される法則です。 詳しくは ここでは機械学習の過程でパラメーター\theta_tが時間tに対して d\theta_t=\eta\nabla_\theta V(\theta;D)dt+\sqrt{1\eta\beta^{-1}}dB_t (Dは学習データ\etaは学習率)と変化するような状況を考え、 論文で
Googleのクラウドコンピューティングサービス「Google Cloud」において、機械学習特化型プロセッサ「TPU v5e」を用いた処理が可能になりました。GoogleはTPU v5eについて前世代の「TPU v4」と比較してコストパフォーマンスが2.3倍に向上しているとアピールしています。 Cloud TPU v5e is generally available | Google Cloud Blog https://cloud.google.com/blog/products/compute/announcing-cloud-tpu-v5e-in-ga/?hl=en TPU v5eはGoogleが独自に開発している機械学習特化プロセッサ「Tensor Processing Unit(TPU)」の第5世代モデルで、発表時には前世代モデルのTPU v4と比較して1ドル当たりのパフォーマ
LoRA (Low-Rank Adaptation) is a popular technique to finetune LLMs more efficiently. This Studio explains how LoRA works by coding it from scratch, which is an excellent exercise for looking under the hood of an algorithm.
AWS、AIモデルのトレーニングと実行向け新チップ「Graviton4」と「Trainium2」を発表：AWS re:Invent 2023 Amazon傘下のAWSは、MLトレーニングや生成AIアプリを含む広範な顧客のワークロード向けの次世代チップ、「Graviton4」と「Trainium2」を発表した。いずれも先代より大幅に性能が向上したとしている。 米Amazon傘下のAWSは11月28日（現地時間）、ラスベガスで開催の年次イベント「AWS re:Invent 2023」の基調講演で、2つの次世代チップ「AWS Graviton4」と「AWS Trainium2」を発表した。MLトレーニングや生成AIアプリを含む広範な顧客のワークロードで、価格性能とエネルギー効率の向上を目指すとしている。
自社のデータで生成AIを強化すべし：ファインチューニングしてビジネスに活用させたい基盤モデル（その１） | NTTデータ先端技術株式会社
最近、クラウドサービスプロバイダ各社が言語系の基盤モデルとそのファインチューニング機能を提供し始めました。企業が生成AIをビジネスに本格的に活用させたいと思うならば、自社がもつデータセットで基盤モデルをファインチューニングする必要があるからです。 AIは、他の技術が成長する上で不可欠な基盤的な技術であり、ビジネスや社会の進化を後押ししています。最近、世間を賑わせているAIと言えば、生成AIでしょう。その中でもここ数ヶ月、メディアで数多く取り上げられて一躍注目を浴び、ビジネス現場を賑わせ続けているのが、OpenAIが開発したChatGPTです。ChatGPTは、GPT-3.5 Turboという大規模言語モデルを用いたAIチャットサービスです。（ただし、ChatGPTを大規模言語モデルと呼ぶ場合もあります。）GPT-3.5 Turboは、GPT-3.5という基盤モデルを人間のような自然な会話が
新たに「Llama 2 70B」と「Stable Diffusion XL」が追加されたAIベンチマークテスト「MLPerf Inference v4.0」の結果が発表される
ニューラルネットワークのパフォーマンス評価を実施する業界コンソーシアムのMLCommonsは、さまざまなシナリオでハードウェアのAI処理性能を測定できるベンチマークテスト「MLPerf Inference」を設計しています。最新の「MLPerf Inference v4.0」では、パフォーマンス指標として新たにMetaの大規模言語モデル「Llama 2 70B」と画像生成AIの「Stable Diffusion XL」が追加されました。 New MLPerf Inference Benchmark Results Highlight The Rapid Growth of Generative AI Models - MLCommons https://mlcommons.org/2024/03/mlperf-inference-v4/ Nvidia Tops Llama 2, Stabl
NVIDIAがHugging Faceと提携。AIモデルを選んでそのままNVIDIA DGXクラウドで学習可能に | テクノエッジ TechnoEdge
米ロサンジェルスで開催中のコンピュータグラフィックス国際会議SIGGRAPH 2023で8月8日、NVIDIAのジェンスン・ファンCEOが基調講演を行いました。新しいGPUアーキテクチャの発表こそなかったものの、いくつかの重要なアナウンスがありました。 その一つが、Hugging Faceとの提携。 Hugging Faceといえば、画像生成AIから大規模言語モデル（LLM）まで、さまざまなAIモデルのリポジトリとして使われている、生成AIに関わっている人なら必ずお世話になっているサービスです。 NVIDIAはこの発表を、「NVIDIAとHuggung Faceはパートナーシップを結び、生成AIスーパーコンピューティングを数百万もの開発者に提供し、LLMをはじめとする先進のAIアプリケーション開発に資する」と説明しています。 具体的には、NVIDIAのクラウドAIスーパーコンピューティング
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google CloudとHugging Faceが提携 AI開発者にH100などのパワーを提供へ
日本ディープラーニング協会主催 NeurIPS 2023 技術報告会講演資料
Microsoft、生成AIの開発を加速する128コアのArm CPU「Cobalt」とAIアクセラレータ「Maia」
自己対戦で強化学習する三目並べ AI をPyTorchで実装 - Qiita
Meteor Lakeの内蔵NPU、AI処理の電力効率はCPUの7.8倍
深層学習の仕組み, 勾配降下 | Chapter 2, 深層学習（ディープラーニング）
Language models can explain neurons in language models
拡散モデルとは？Stable Diffusionなど「画像生成AIの学習モデル」をわかりやすく解説
Microsoft Build 2023 Book of News
「言語を一般化する人間のような能力を持つニューラルネットワーク」の登場によりAIに革新が起こる可能性
ジェフリー・ヒントンが「AIは考え、理解している」という根拠 | 「AIのゴッドファーザー」による怒りの黙示録
RAGの評価：評価の必要性と問題点 - Beatrust techBlog
機械学習の落とし穴 リーク問題について - ABEJA Tech Blog
生成 AI に必要な「基盤モデル」のメモリ使用量 98％削減につながる技術を開発 ─ 自動運転車や工作用ロボット用組み込みシステムへの搭載を目指す ─
A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks
大規模言語モデルをLoRAで低コストかつ効率的に微調整できる「Punica」が登場
今こそはじめるJAX/Flax入門 Part 1
ドスパラがGPUクラウドサービス提供 生成AIなどで利用見込む
Intelが次世代CPU「Meteor Lake」の概要をチラ見せ 全モデルに「AIエンジン」を搭載
Poetry1.5.1からGPU版のPytorchのインストールが簡単になりました
コスパが2.3倍になったGoogleの機械学習特化プロセッサ「TPU v5e」がGoogle Cloudで利用可能に
Code LoRA from Scratch - a Lightning Studio by sebastian
AWS、AIモデルのトレーニングと実行向け新チップ「Graviton4」と「Trainium2」を発表