スライド概要 2023年10月18日に開講された東京大学松尾研究室「世界モデルと知能」の第4回シミュレーションとコンピュータグラフィクスで使用した資料を改変したものです．

An open, modular framework for zero-shot, language conditioned pick-and-drop tasks in arbitrary homes. Remarkable progress has been made in recent years in the fields of vision, language, and robotics. We now have vision models capable of recognizing objects based on language queries, navigation systems that can effectively control mobile systems, and grasping models that can handle a wide range o

Lee et al 2020 "Learning Quadrupedal Locomotion over Challenging Terrain"から紐解く四足ロボット強化学習の「秘伝のタレ」強化学習AIロボット制御工学四足ロボット はじめに はじめまして！2023年末までOMRON SINIC X（OSX）で機械学習によるロボット制御の研究インターンをしていた渕岡湧仁(フチオカユニ)と申します！松尾研では第一回TRAILロボナイト発表者としてご講演させていただき、それ以来OSXとオフィスがとても近いこともあって頻繁に松尾研ロボット部門のTRAILにお邪魔させていただきました！今回はそのお礼として基盤モデル×Robotics Advent Calendar 2023の21日目の記事として投稿します！ 修士では四足ロボットの強化学習について研究をしていたので、本記事では2020年Scienc

Imitation learning from human demonstrations has shown impressive performance in robotics. However, most results focus on table-top manipulation, lacking the mobility and dexterity necessary for generally useful tasks. In this work, we develop a system for imitating mobile manipulation tasks that are bimanual and require whole-body control. We first present Mobile ALOHA, a low-cost and whole-body

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米ニューヨーク大学と米Metaに所属する研究者らが発表した論文「On Bringing Robots Home」は、iPhone付きのマジックハンド（リーチャーグラバー）で家事用ロボットを容易に教育するフレームワークを提案する研究報告である。 この研究の目的は、さまざまな家庭で基本的な家庭用タスクを実行できるロボットを開発することである。これを実現するためには、現在のロボット工学の研究パラダイムの転換が必要であり、主に工業環境や研究室で行われている現行の研究では、物体、シーン、照明条件が厳密に管理されている。 しかし、家庭内でのロボットの性

強化学習におけるLLMの活用パターン調査 はじめに：実世界における強化学習の課題 LLM×強化学習 人間はゼロショット推論によりサンプル効率の良い学習ができる LLMによるゼロショット推論の例 さまざまなLLM活用パターン 1. 報酬モデルとしてのLLM LLMによる代理報酬モデル VLMによる外観ベース代理報酬モデル 外部知識にもとづく報酬モデル設計 2. 計画モデルとしてのLLM LLMによるセマンティック計画 LLMによる構造的な探索計画 3. 方策モデルとしてのLLM LLM as 確率方策 マルチモーダルLLM as 確率方策 参考：GPTアーキテクチャの転用 4. 世界モデルとしてのLLM Language Models Meet World Models (あとで書く) おわりに：VLM as 確率方策に期待 はじめに：実世界における強化学習の課題 レトロゲームで人間並みのパ

On Wednesday, at the 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), in Detroit, a Disney Research team presented a brand new robotic character during their evening keynote address. The adorable robot packs an enormous amount of expression into its child-size body, from its highly expressive head and two wiggly antennae to its stubby little legs. But what sets this

Turing株式会社の自動運転MLチームでエンジニアをしている岩政です。 Turingの自動運転MLチームでは、完全自動運転の開発に向けて、走行データから自動走行が可能な深層学習モデルの作成およびデータ基盤の整備、視覚情報以外にも言語を活用したマルチモーダルな基盤モデルの作成に取り組んでいます。 本記事では、視覚情報を認識するモデルと大規模言語モデルを組み合わせて、「自動車走行時の特に危険な状況を説明することができないか？」という観点から、社内ハッカソンで取り組んだことを紹介します。 社内LLMハッカソン 事の発端は、4月のある1日に急遽開催された大規模言語モデル(以下LLM)を活用した社内ハッカソンでした。高度な自動運転の実現において、一般的な社会常識のもと複雑な状況を理解して適切に行動するための「知能」は必要不可欠です。現在、Turingでは、LLMはその知能として高いポテンシャルがあ

ロボカップジャパンオープン2023 @Homeリーグで受賞しました． TRAILは2023年5月3日から7日にかけて滋賀ダイハツアリーナで行われた「ロボカップジャパンオープン2023 @Homeリーグ」に参加しました． 本チームは，既定のロボットを使い家庭内の生活支援タスクの性能や技術を競う「ドメスティックスタンダードプラットフォーム部門（DSPL）」に参加し，学部生を中心とする現体制での参加は2度目ながら，競技部門優勝・テクニカルチャレンジ3位の成績を収めました． 特に競技部門では，3つの競技全てにおいて一位を獲得しました．7月に開催される世界大会に向け，さらに開発・調整を重ねてまいります． テクニカルチャレンジで発表した内容は以下より覧いただけます．動画

Research RoboCat: A self-improving robotic agent Published 20 June 2023 Authors The RoboCat team New foundation agent learns to operate different robotic arms, solves tasks from as few as 100 demonstrations, and improves from self-generated data. Robots are quickly becoming part of our everyday lives, but they’re often only programmed to perform specific tasks well. While harnessing recent advance

複数のレシピを学んだロボットに、そのうちの1つのレシピに関する料理動画を見せると、そのレシピを再現して調理を行う「ロボットシェフ」をケンブリッジ大学の研究チームが開発しました。また、このロボットシェフはレシピの再現だけでなく、オリジナルのレシピを考案したことが報告されています。 Recognition of Human Chef’s Intentions for Incremental Learning of Cookbook by Robotic Salad Chef | IEEE Journals ＆ Magazine | IEEE Xplore https://doi.org/10.1109/ACCESS.2023.3276234 Robot 'chef' mimics recipes from food videos https://www.newswise.com/article