2017-2019頃に活動しており、コロナ以降休止していたLanguage and Robotics研究会 (LangRobo研究会)を再開する運びとなりました。 自然言語処理分野とロボティクス分野の近年の融合と発展は著しく、身体を持つエージェントが人間と自然言語でコミュニケーションしながら環境内を動いたりといった研究も両分野において多く見られるようになってきました。言語におけるロボティクスの導入やロボティクスにおける言語の導入の価値は今後も高まっていくことが期待されます（詳しくは文献[1]をご覧ください）。 LangRobo研究会は、今後の自然言語処理とロボティクスの融合をどのように進めていくのが良いかを議論する交流の場として活動していきます。 [1] Survey on frontiers of language and robotics 参加受付（connpass） 開催日：2023

An open, modular framework for zero-shot, language conditioned pick-and-drop tasks in arbitrary homes. Remarkable progress has been made in recent years in the fields of vision, language, and robotics. We now have vision models capable of recognizing objects based on language queries, navigation systems that can effectively control mobile systems, and grasping models that can handle a wide range o

Turing株式会社の自動運転MLチームでエンジニアをしている岩政です。 Turingの自動運転MLチームでは、完全自動運転の開発に向けて、走行データから自動走行が可能な深層学習モデルの作成およびデータ基盤の整備、視覚情報以外にも言語を活用したマルチモーダルな基盤モデルの作成に取り組んでいます。 本記事では、視覚情報を認識するモデルと大規模言語モデルを組み合わせて、「自動車走行時の特に危険な状況を説明することができないか？」という観点から、社内ハッカソンで取り組んだことを紹介します。 社内LLMハッカソン 事の発端は、4月のある1日に急遽開催された大規模言語モデル(以下LLM)を活用した社内ハッカソンでした。高度な自動運転の実現において、一般的な社会常識のもと複雑な状況を理解して適切に行動するための「知能」は必要不可欠です。現在、Turingでは、LLMはその知能として高いポテンシャルがあ

ロボカップジャパンオープン2023 @Homeリーグで受賞しました． TRAILは2023年5月3日から7日にかけて滋賀ダイハツアリーナで行われた「ロボカップジャパンオープン2023 @Homeリーグ」に参加しました． 本チームは，既定のロボットを使い家庭内の生活支援タスクの性能や技術を競う「ドメスティックスタンダードプラットフォーム部門（DSPL）」に参加し，学部生を中心とする現体制での参加は2度目ながら，競技部門優勝・テクニカルチャレンジ3位の成績を収めました． 特に競技部門では，3つの競技全てにおいて一位を獲得しました．7月に開催される世界大会に向け，さらに開発・調整を重ねてまいります． テクニカルチャレンジで発表した内容は以下より覧いただけます．動画

Have you ever wanted to tell a robot what to do using your own words, like you would to a human? Wouldn’t it be amazing to just tell your home assistant robot: “Please warm up my lunch“, and have it find the microwave by itself? Even though language is the most intuitive way for us to express our intentions, we still rely heavily on hand-written code to control robots. Our team has been exploring

米グーグルから、注目に値する“すごい”ロボット技術が登場した。 同社が得意とするロボット向け機械学習技術の領域での成果だが、これまで漸進的な進化が続いてきた強化学習や模倣学習といった範疇の技術ではない。それら旧来的な枠組みにとどまるものではなく、家庭やオフィスで使える汎用的なサービスロボット実現に向け、大きな前進となる技術である。細かいミクロな要素技術というよりも、こうした汎用的ロボットを実現するためのマクロなソフトウエアアーキテクチャの面で、今後の革新への萌芽となる成果を今回、出した（図1）。ロボット技術者であれば、決して無視できない成果である。 開発したのは、グーグルのロボット研究部門、および「Everyday Robots」という組織だ。Everyday Robotsは米Alphabet社（グーグルの親会社）傘下の基礎研究組織X Development社で発足したプロジェクトで、グー

家庭の掃除ロボットや工業施設内の産業用ロボットなど、世の中にはさまざまなロボットがあふれています。しかし、これらのロボットは大抵が決まった動作しか行うことができません。Googleは新たに、人間のコミュニケーション方法を学んで人間が求める動作を自然に行うことができるAIを開発していることを明らかにし、そのAIを搭載した開発中のロボットを公開しました。 PaLM-SayCan https://sites.research.google/palm-saycan Google gives its helper robots language skills to understand humans better https://www.siliconrepublic.com/machines/google-robots-alphabet-large-language-models For help

Do As I Can, Not As I Say: Grounding Language in Robotic Affordances Michael Ahn* Anthony Brohan* Noah Brown* Yevgen Chebotar* Omar Cortes* Byron David* Chelsea Finn* Chuyuan Fu* Keerthana Gopalakrishnan* Karol Hausman* Alex Herzog* Daniel Ho* Jasmine Hsu* Julian Ibarz* Brian Ichter* Alex Irpan* Eric Jang* Rosario Jauregui Ruano* Kyle Jeffrey* Sally Jesmonth* Nikhil Joshi* Ryan Julian* Dmitry Kala