Human-Timescale Adaptation in an Open-Ended Task Space
Foundation models have shown impressive adaptation and scalability in supervised and self-supervised learning problems, but so far these successes have not fully translated to reinforcement learning (RL). In this work, we demonstrate that training an RL agent at scale leads to a general in-context learning algorithm that can adapt to open-ended novel embodied 3D problems as quickly as humans. In a
強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料）
東京大学 松尾研究室が主催する深層強化学習サマースクールの講義で今井が使用した資料の公開版です． 強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムまで解説しています．巻末には強化学習を勉強するにあたって有用な他資料への案内も載せました． 主に以下のような強化学習の概念やアルゴリズムの紹介をしています． ・マルコフ決定過程 ・ベルマン方程式 ・モデルフリー強化学習 ・モデルベース強化学習 ・TD学習 ・Q学習 ・SARSA ・適格度トレース ・関数近似 ・方策勾配法 ・方策勾配定理 ・DPG ・DDPG ・TRPO ・PPO ・SAC ・Actor-Critic ・DQN（Deep Q-Network） ・経験再生 ・Double DQN ・Prioritized Experience Replay ・Dueling Network ・Categorical DQN ・Nois
Learning to Play Minecraft with Video PreTraining (VPT)を読む - TadaoYamaokaの開発日記
OpenAIが発表したマインクラフトの操作を学習した「Learning to Play Minecraft with Video PreTraining (VPT)」の論文を読んだ際のメモです。 概要 請負業者(フリーランス)に依頼して作成した7000時間分のキーボード・マウス操作のラベル付き動画からIDM(逆ダイナミクスモデルを学習 IDMモデルを使用してインターネット上にあるラベルなしの動画に疑似ラベルを付与 疑似ラベルを付与した2万時間の動画から行動クローン(BC)モデル(VPTファンデーションモデル)を作成 VPTファンデーションモデルを、強化学習でファインチューニングすることで、ダイアモンドのつるはしを作成できるようになった 問題の難易度 マインクラフトは、報酬が階層的になっており、ダイアモンドのつるはしを作成できるようになるには、木を切って、作業台を作って、石のつるはしを作って
dlshogiモデルの20ブロックから15ブロックへの知識蒸留 - TadaoYamaokaの開発日記
dlshogiでは、10ブロックのモデルから始めて、15ブロック、20ブロックとモデルサイズを大きくしている。 ブロックが大きいほど、精度が高くなっており強さにも反映される。 第32回世界コンピュータ将棋選手権のdlshogiでは20ブロックのモデルを採用している。 ブロック数を増やすと、NPSが低下するため、精度向上とNPSはトレードオフになっている。 ブロック数を増やすことによる精度向上分が上回っているため、強くなっていると考える。 しかし、NPSが低くなると探索が浅くなるため、探索が重要になる局面では、ブロック数が小さい方が有利になる可能性がある。 小さなブロック数で精度が高いモデルが理想であるため、より大きなブロック数で質の高い教師を生成して、小さなブロックを学習するということを試みたい。 知識蒸留 単に、より大きなブロック数で生成した教師を小さなブロックで学習するだけでも、小さな
強化学習実装入門 (DQN 編) | トシキワタナベのブログ
こんにちは。皆さんは "強化学習" と聞いて、何を想像しますか？ プロ棋士よりも強い囲碁 AI や、ビデオゲームで人間に勝る AI、ルービックキューブを解くことができるロボットアームなど、強化学習にまつわる象徴的な研究結果が数多く出されており、強化学習のポテンシャルに魅力を感じている方も多いのではないでしょうか？ そこで、今日は "実装" をテーマに、強化学習アルゴリズム Deep Q-Network (DQN) を実装しながら、強化学習実装の Tips を共有していきたいと思います。 この記事では、"深層学習の実装経験があり、これから強化学習も触ってみたい方" を対象とします。強化学習の知識は問いませんが、"実装" をテーマにした記事のため、必要な知識は "何となく理解する" ことにフォーカスして解説します。実際に PyTorch を用いて DQN を実装していくことで、強化学習の実装の
Google DeepMind
Latest news Discover our latest AI breakthroughs and updates from the lab Responsibility & Safety The ethics of advanced AI assistants The ethics of advanced AI assistants Exploring the promise and risks of a future with more capable AI Research TacticAI: an AI assistant for football tactics As part of our multi-year collaboration with Liverpool FC, we develop a full AI system that can advise coac
サッカーを強化学習する - 思考の本棚
はじめに この記事は強化学習苦手の会Advent Calenderの12日目の記事です。 私は11月末までKaggle上で開催されていたGoogle Research Football with Manchester City F.C.に参加していました。このコンペはGoogle Researchが用意したサッカーゲーム上でサッカーエージェント(プレイヤー)を作成し、その強さを競うというものです。 私はhigeponさんとチームを組ませていただき、強化学習アプローチでコンペ開催から終了まで取り組みました。そこでサッカーエージェントを強化学習で育成する際に工夫した点や苦労した点を共有できればと思います。 kaggle: Google Research Football competition www.kaggle.com GitHub: Google Research Football gi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Decision Transformer: Reinforcement Learning via Sequence Modeling
Replacing Rewards with Examples: Example-Based Policy Search via Recursive Classification
Google Football コンペ - higepon blog