Announcing Optuna 3.6 - Preferred Networks Research & Development
はじめに ブラックボックス最適化フレームワークOptunaの最新バージョンであるv3.6をリリースしました。今回のリリースには、様々な新機能やリファクタリング、バグ修正が含まれています。このブログではv3.6のハイライトと多くの機能改善についてお伝えします。 TL;DR Wilcoxon Pruner、軽量なガウス過程ベースのSampler、 PED-ANOVA重要度評価器等の様々な新しいアルゴリズムのサポート FrozenTrialの検証ロジックの厳密化、 Dashboardのリファクタリング、 Integrationの移行などOptunaの品質に関わる様々な改善を実施 Wilcoxon Pruner Optuna v3.5以前では、Prunerは典型的な機械学習のハイパーパラメータ最適化を想定して作られていました。そのような問題では、学習曲線を見て悪いパラメータを早期終了することができ
dlshogiのPyTorch Lightning対応 - TadaoYamaokaの開発日記
dlshogiの学習は、PyTorchを使用して、モデルの訓練処理を独自に実装していた。 マルチGPUによる分散学習に対応させようと考えているが、独自に実装するより、PyTorch lightningに対応させた方が実装が楽になるため、dlshogiをPyTorch Lightningに対応させたいと考えている。 まずは、訓練の基本部分の実装を行った。 PyTorch Lightning CLI ボイラープレートをできるだけ削除するため、PyTorch Lightning CLIを使用して実装する。 PyTorch Lightning CLIを使用すると、コマンド引数のパース処理など含めて自動で行ってくれる。 起動部分の処理は以下のように記述するだけでよい。 def main(): LightningCLI(Model, DataModule) if __name__ == "__main
機械学習におけるクラスの重み付け 機械学習において、データセットのクラス分布が不均衡な場合には、重み付けの考え方を導入することが多いです。これは特に、一部のクラスのデータ数が他のクラスと比べて非常に少ない場合（不均衡なデータセット）に有効です。この記事では、クラスの重み付けについて説明し、その実装方法をKerasとAdaBoostで解説します。 クラスの重み付けとは？ クラスの重み付け（Class weighting）は、不均衡なクラス分布を持つデータセットに対する学習において、少数派のクラスを適切に扱うためのテクニックです。具体的には、クラスの重み付けは分類器に対して、少数派のクラスのデータに対する学習により重要な重みを置くよう指示します。これにより、少数派のクラスのデータがモデル学習において大きな影響を持つようになり、全体のパフォーマンスが向上することが期待できます。 Kerasでの実
GitHub - Blealtan/efficient-kan: An efficient pure-PyTorch implementation of Kolmogorov-Arnold Network (KAN).
This repository contains an efficient implementation of Kolmogorov-Arnold Network (KAN). The original implementation of KAN is available here. The performance issue of the original implementation is mostly because it needs to expand all intermediate variables to perform the different activation functions. For a layer with in_features input and out_features output, the original implementation needs
講演概要ツール・環境 現在 (GP: General Purpose) GPUは、特にその高い演算性能から、AI分野における最も有力な実行プラットフォームとなっている。その高い演算性能は、AI分野で特徴的に現れるテンソル計算に強く適応した結果得られるものである。GPUが利用するテンソル計算の性質には、データ並列性・規則性の高さと計算精度に対する要求の低さ、演算強度の高さなどがある。本講演では、GPUの基礎として、GPUそれらの性質をどのように利用しているかを、CPUとの比較という観点から概説する。 講演映像
大規模言語モデルの「創発的」能力（Emergent Abilities of Large Language Models）とは？
大規模言語モデルの「創発的」能力（Emergent Abilities of Large Language Models）とは？：AI・機械学習の用語辞典 用語「創発」について説明。大規模言語モデルの計算量やパラメーター数が非常に大きくなると、“あるところ”を境に、突然、新しい能力を獲得して性能が大きく向上する現象を指す。 連載目次 用語解説 大規模言語モデルにおける創発的能力（Emergent Abilities of Large Language Models、あるいは単に「創発」）とは、大規模言語モデルの計算（Compute）量（もしくはパラメーター数＝モデルのサイズ）が非常に大きくなると、“あるところ”を境に、突然、（新しい能力を獲得して）性能が大きく向上する現象のことである（図1）。なお創発的能力は、元の論文で以下のように定義されている。 ある能力が、より小さなモデルには存在しな
from kaskada.api.session import LocalBuilder session = LocalBuilder().build() %load_ext fenlmagic サンプルデータセットの構築 この例では、ゲームプレイヤーの行動に関するイベントを扱います。 イベントには、ユーザーが勝った、負けた、そして物の購入の３種類があります。 イベントは 2 つの CSV ファイルに保存されているものとします（ここではテストデータの作成をJupyterノートブック上で行います）。 game_play.csvには、プレイヤーが行ったゲームの勝敗に関するイベント情報が含まれています。 %%writefile game_play.csv event_at,entity_id,duration,won 2022-01-01 02:30:00+00:00,Alice,10,true
大規模言語モデルにおける人工ニューロンの挙動をテーマにした以下論文が面白かったので、ざっくり目についたキーワードを抜き出してみました。 理解不足など多分にあると思いますので、興味を持たれた方は、ぜひ原文をご確認ください。 概要LLMの内部構造を理解するため、パラメータの異なる125Mから66BまでのMeta社のOPTファミリーのモデル内部の人工ニューロンの挙動を分析した キーワード活性化しないニューロン（Dead Neurons）ネットワークの入力部付近の層では、多くの活性化しない「デッドニューロン」が存在しており、特に66B（660億）モデルでは、一部の層で70%以上のニューロンが活性化していない。 ネットワークの前半はデッドニューロンの割合が高く、後半はほとんどのニューロンが「活性化」している。 著者らは、この層間での疎さの違いは、初期層では「概念と対応するニューロン」の比率が後半の層
企業による生成AIアプリ構築はどう楽になる？ Google Cloudが開発基盤Vertex AIを強化
企業による生成AIアプリ構築はどう楽になる？ Google Cloudが開発基盤Vertex AIを強化：Google Cloud Next ’23 Google Cloudが年次イベント「Google Cloud Next '23」で、多数のモデルへの対応、社内の既存アプリやデータとの連携など、企業による生成AIアプリ構築を支援するさまざまな新機能を発表した。
国内最大規模のゲーム業界カンファレンス「CEDEC2023」が、2023年8月23日（水）から8月25日（金）までの日程で開催されました。2日目となる8月24日には、ユニティ・テクノロジーズ・ジャパンの代表取締役社長・大前広樹氏が登壇し、「推論ライブラリを実装する」と題した講演が行われました。 本講演ではUnityで機械学習の結果を利用するためのアプローチについて触れていますが、機械学習の基本の部分についても解説がありました。ゲームエンジンに関わらず機械学習の初学者にとっても非常に勉強になる内容となっている本講演をレポートします。 TEXT / rita EDIT / 田端 秀輝
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習におけるクラスの重み付けとその実装方法 - Qiita
GPUの基礎 - 五島 正裕 国立情報学研究所アーキテクチャ科学研究系 教授
特徴量エンジンKaskada利用イメージ: 機械学習モデルのトレーニング - Qiita
【論文紹介】大規模言語モデルにおけるニューロンの挙動について｜はまち
AIは怖くない。機械学習のイロハから、ゲームで利用するためのアプローチまでを学ぶ【CEDEC2023】