米ロサンジェルスで開催中のコンピュータグラフィックス国際会議SIGGRAPH 2023で8月8日、NVIDIAのジェンスン・ファンCEOが基調講演を行いました。新しいGPUアーキテクチャの発表こそなかったものの、いくつかの重要なアナウンスがありました。 その一つが、Hugging Faceとの提携。 Hugging Faceといえば、画像生成AIから大規模言語モデル（LLM）まで、さまざまなAIモデルのリポジトリとして使われている、生成AIに関わっている人なら必ずお世話になっているサービスです。 NVIDIAはこの発表を、「NVIDIAとHuggung Faceはパートナーシップを結び、生成AIスーパーコンピューティングを数百万もの開発者に提供し、LLMをはじめとする先進のAIアプリケーション開発に資する」と説明しています。 具体的には、NVIDIAのクラウドAIスーパーコンピューティング

from kaskada.api.session import LocalBuilder session = LocalBuilder().build() %load_ext fenlmagic サンプルデータセットの構築 この例では、ゲームプレイヤーの行動に関するイベントを扱います。 イベントには、ユーザーが勝った、負けた、そして物の購入の３種類があります。 イベントは 2 つの CSV ファイルに保存されているものとします（ここではテストデータの作成をJupyterノートブック上で行います）。 game_play.csvには、プレイヤーが行ったゲームの勝敗に関するイベント情報が含まれています。 %%writefile game_play.csv event_at,entity_id,duration,won 2022-01-01 02:30:00+00:00,Alice,10,true

はじめに Cassandra Day Tokyo 今年、2023年６月１日に、Cassandra Dayが日本でも開催されます。 Cassandra Dayは、昨年、ベルリン、ロンドン、アムステルダム、ハノイ、ジャカルタ、ヒューストン、サンタクララ、シアトル、シンガポールでも開催されました。 今回の東京での開催に向けて、Apache Cassandraに関する記事を発表していきます。 Apache Cassandraについて Apache Cassandraとは、一言でいうなら、オープンソースの分散データベース管理システムです。 他の分散データベース管理システム同様、複数の汎用サーバーを用いて、ひとつのデータベースを構築します（開発などの目的のため、一つのサーバーのみで構成することも可能です）。 ここでは、詳しい説明は割愛し、興味のある方へのご紹介の役割は、公式サイトやWikipediaに

米NVIDIAは8月8日（現地時間）、生成AIモデル構築のための新たな統合ツールキット「AI Workbench」を発表した。生成AIモデルをPCやワークステーション上で構築、テスト、カスタマイズできるように設計されている。必要であればそれをデータセンターやクラウドに拡張可能だ。 現在、多数の事前トレーニング済みモデルが利用可能になっているが、それを複数のオンラインリポジトリを横断して探し回り、適切なフレームワークやツールを探すのが大きな負担になっているとNVIDIAは説明する。 AI Workbenchはローカルシステム上で実行できる簡素化されたツールを介してモデルにアクセスできるため、こうした負担を軽減できるとしている。 開発者は、Hugging Face、GitHub、NVIDIA NGCなどの一般的なリポジトリのモデルをカスタマイズでき、モデルは複数のプラットフォーム間で共有できる

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

Build models faster, fine-tune LLMs, develop GenAI applications with confidence, all in one system of record developers are excited to use.

Speed Limits for Deep Learning という論文でニューラルネットの学習過程における熱力学的速度限界の研究がされています。 先を越されてしまった感があるので紹介します。本文10ページくらいで解析式とテストデータでの興味深い結果が書かれています。 熱力学的速度限界とは非平衡な物理系において分布の変化の大きさL、エントロピー生成\sigmaに対して変化に要した時間\tauが \tau \geq \frac{L^2}{2\Lambda \sigma} というような形で制限される法則です。 詳しくは ここでは機械学習の過程でパラメーター\theta_tが時間tに対して d\theta_t=\eta\nabla_\theta V(\theta;D)dt+\sqrt{1\eta\beta^{-1}}dB_t (Dは学習データ\etaは学習率)と変化するような状況を考え、 論文で

はじめに Turing株式会社の自動運転MLチームでエンジニアをしている越智 (@chizu_potato)と塩塚 (@shiboutyoshoku) です。 Turingが目指す自動運転は、大量のデータで学習された非常に賢い機械学習モデルを活用することです。そのために、走行パートナーの方たちと協力して創業時からこれまで大量の走行データを取得してきました。走行データは車両に取り付けられた複数カメラによる360度をカバーした動画と、そのときの速度やGPSなどの走行ログを含んでいます。データサイズは80TBを超え、時間換算で3500時間程度です。 これだけのデータサイズでモデルを学習するためには、1枚のGPUだけで頑張るには限界があり複数のGPU (multi-GPU) による分散並列学習が必要となってきます。しかし、ただ分散並列学習を行うだけではmulti-GPUに対し、データの入出力 (I

用語「ゼロショット学習」について説明。訓練データに存在しない新しいクラスやタスクに対しても有用な予測／分類を行うための学習方法のことで、特にChatGPTの言語モデルなどでは、ファインチューニングすることなく、かつ例文もない状態で、さまざまなタスクを解決する能力を持つことを指す。 連載目次 用語解説 人工知能／機械学習分野のゼロショット学習（Zero-shot Learning）とは、新しいクラス（分類問題の場合）やタスクを訓練データから事前に学習していなくても、推論時にその未知のクラスやタスクについての何らかの補助情報（説明テキストや属性情報、クラス間の類似性など）を訓練済みAIモデルに与えることで、柔軟に適切な分類や予測を行うための学習方法のことである。例えば動物を分類するタスクにおいて、事前に「犬」と「猫」（という2つの既知のクラス）の訓練データから学習したAIモデルに、未知の動物に

先日、ふとしたきっかけでしましま先生*1がこちらの論文について触れられているのを見かけたのでした。 これは推薦システム分野におけるNN研究の再現性について検証した2019年の論文で、近年のトップ会議*2に採択されたNN手法18個に対して再現を試みたところ、「reasonableな」努力で再現できたのはわずかに7個に過ぎず、その中でも1個は論文中で主張されたベースラインを超えることは出来なかったと報告しています。 ただ、この報告はNN研究における再現性に関する議論のあくまでも一例であり、実際コロナ禍以前から「論文中ではSOTAを達成と書いているのに同じ実装をどう組んでもSOTAに達しない」みたいな業界噂話はそこかしこで耳にしたものでした。しかしながら、実際のソフトウェアやアプリケーションとしてそれらのNN手法が用いられて、尚且つその結果として何かしらの不具合でも起きない限りは、機械学習業界の

エンジニアの上野です。Cluster Servicesチームという、PFNのKubernetesベースの機械学習基盤を開発・運用するチームに所属して、基盤の改善や新機能の開発に務めています。本記事では、深層学習における学習データセット読み込み速度の改善を目指して開発し、現在もKubernetes上で運用中の分散キャッシュシステムを紹介します。 PFNの機械学習基盤については、ブログ「2022年のPFNの機械学習基盤」もご参照ください。 深層学習における学習データセット読み込み 深層学習を高速化するため、深層学習に向いたアクセラレータの開発が日々続けられています。PFNで開発しているMN-Coreシリーズや、NVIDIA社製GPUもそのひとつです。これらのアクセラレータは高速に行列演算を行うことができ、深層学習の1イテレーションにかかる時間を高速化、ひいては深層学習を活用する研究開発全体を加

機械学習におけるクラスの重み付け 機械学習において、データセットのクラス分布が不均衡な場合には、重み付けの考え方を導入することが多いです。これは特に、一部のクラスのデータ数が他のクラスと比べて非常に少ない場合（不均衡なデータセット）に有効です。この記事では、クラスの重み付けについて説明し、その実装方法をKerasとAdaBoostで解説します。 クラスの重み付けとは？ クラスの重み付け（Class weighting）は、不均衡なクラス分布を持つデータセットに対する学習において、少数派のクラスを適切に扱うためのテクニックです。具体的には、クラスの重み付けは分類器に対して、少数派のクラスのデータに対する学習により重要な重みを置くよう指示します。これにより、少数派のクラスのデータがモデル学習において大きな影響を持つようになり、全体のパフォーマンスが向上することが期待できます。 Kerasでの実

はじめに 最小二乗法はデータ解析の基本ですが、意外にその内容の理解が難しかったりします。特に、入力データと出力データの積の和が出てくる理由があいまいな人も多いんじゃないでしょうか。以下では、最小二乗法の公式の意味をちょっと考えてみたいと思います。 最小二乗法 何か実験をして、観測値を得ることを考えます。例えば抵抗値のわからないものに、様々な電圧をかけて、流れる電流を測ったとしましょう。 この時、入力電圧をx、出力電流をyとすると y = a x という比例関係が期待されます。この比例定数aを実験から精度よく求めたい時、どうすればよいでしょうか？ 実験をN回繰り返すことにして、i番目の実験の入力電圧x_iに対し、出力電流y_iを得たとしましょう。このデータセット(x_i, y_i)を使って、最もよくaを推定したい、というのが本稿の目的です。 ここで考えなくてはいけないのが「最も良くaを推定す

導入　本当に革命的な技術なのか? 「君たちはどう生きるか」で驚いている間にすごい論文が世界の話題を掻っ攫っていた。 その名も「ReLORA」簡単に言えば、「事前学習にLoRAを使う」というものである。 これは本当に革命的な発見かもしれないので、僕の仮説も含めて丁寧に説明する。 まず、大前提として、「LoRA」という技術について LoRAは、「Low Rank Adaptation(日本語で言うとすれば低階適応)」という技術で、これまでは主にファインチューニングに使われてきた。 ファインチューニングとは、あらかじめ学習されたニューラルネットワークに対して追加で学習させ、概念を強調させたり新しく覚えさせたりする。 たとえば、僕の顔でStableDiffusionをファインチューニングすれば、僕みたいな顔の絵がどんどん出てくる。 言語モデルにおけるLoRAも同様で、新しい概念や「こういうやりとり