Googleが視覚とテキストから人間のように理解するロボット向け言語モデル「PaLM-E」を発表、「お菓子を持ってこい」などの複雑な命令も遂行可能

対話型AI「ChatGPT」などに使われる言語モデルは複雑なタスクを実行することが実証されていますが、これをロボットに応用する場合、状況にあった動作を行うために言語モデルはより詳しい情報を収集する必要があります。Googleとベルリン工科大学のAI研究者グループは、カメラで捉えた映像とテキストによる指示を理解できる新しい言語モデル「PaLM-E」を開発したことを明らかにしました。このモデルを使うことにより、「引き出しからお菓子を持ってきて」というような複雑な命令をロボットが処理できるようになります。 PaLM-E: An Embodied Multimodal Language Model https://palm-e.github.io/ Google’s PaLM-E is a generalist robot brain that takes commands | Ars Techn

[gabill]

これの凄いところは何ができるではなくて、何から学べるかだと思う。人間が生み出したまともな文章の数なんてたかが知れているし、急に10倍になったりしない。でも視覚情報から学ぶことができれば無限に学べる。

[i-komo]

パン買ってこい。　さて何パンを買ってくるだろうか？

[shunkeen]

ちょっと、言葉を失うくらいすごいな。映像を入力、言語モデルを処理機構、ロボットの肉体を出力として組み合わせただけで、ここまでの高度な判断と、現実の物体を操作することができるのか。

[sotonohitokun]

「気が利くやつ」をコンピューティングで作れるようになると、人類の半分位は負けちゃうよ。視覚と文章で指示しても間違えてばかりの人も居るし。