大模型正在重构机器人，谷歌Deepmind这样定义具身智能的未来

文章来源：机器之心

图片来源：由无界 AI生成

过去一年中，连连取得突破的大模型正在重塑机器人研究领域。

在最先进的大模型成为具身机器人感知世界的「大脑」之后，机器人的进化速度取得了远超想象的进步。

7 月，谷歌 DeepMind 宣布推出 RT-2：全球第一个控制机器人的视觉 - 语言 - 动作（VLA）模型。

只需要向对话一样下达命令，它就能在一堆图片中辨认出霉霉，送给她一罐「快乐水」。

甚至能主动思考，完成了从「选择灭绝的动物」到抓取桌子上的塑料恐龙这种多阶段推理的飞跃。

在 RT-2 之后，谷歌 DeepMind 又提出了 Q-Transformer，机器人界也有了自己的 Transformer 。Q-Transformer 使得机器人突破了对高质量的演示数据的依赖，更擅长依靠自主「思考」来积累经验。

RT-2 发布仅两个月，又迎来了机器人的 ImageNet 时刻。谷歌 DeepMind 联合其他机构推出了 Open X-Embodiment 数据集，改变了以往需要针对每个任务、机器人具体定制模型的方法，将各种机器人学的知识结合起来，创造出了一种训练通用机器人的新思路。

想象一下，只需向你的机器人小助理发出「为我打扫房子」或「为我们做一顿美味健康的饭菜」等简单的要求，它们就可以完成这些工作。打扫房间或做饭这种任务，对于人类来说很简单，但对于机器人来说，可真不容易，需要它们对世界有深度理解。

基于在机器人 Transformer 领域深耕多年的研究基础， 近期，谷歌宣布了一系列机器人研究进展：AutoRT、SARA-RT 和 RT-Trajectory，它们能够帮助机器人更快地做出决策，更好地理解它们身处于怎样的环境，更好地指导自己完成任务。

谷歌相信随着 AutoRT、SARA-RT 和 RT-Trajectory 等研究成果的推出，能为现实的世界机器人的数据收集、速度和泛化能力带来增益。

接下来，让我们回顾一下这几项重要研究。

AutoRT：利用大型模型更好地训练机器人

AutoRT 结合了大型基础模型（如大型语言模型（LLM）或视觉语言模型（VLM））和机器人控制模型（RT-1 或 RT-2），创建了一个可以在新环境中部署机器人用以收集训练数据的系统。AutoRT 可以同时指导多个配备了视频摄像机和末端执行器的机器人，在各种各样环境中执行多样化的任务。

具体来说，每个机器人将根据 AutoRT，使用视觉语言模型（VLM）来「看看四周」，了解其环境和视线内的物体。接下来，大型语言模型会为其提出一系列创造性任务，例如「将零食放在桌子上」，并扮演决策者的角色，为机器人选择需要执行的任务。

研究人员在现实世界中对 AutoRT 进行了长达七个月的广泛评估。实验证明，AutoRT 系统能够同时安全地协调多达 20 个机器人，最多时共能协调 52 个机器人。通过指导机器人在各种办公楼内执行各种任务，研究人员收集了涵盖 77,000 个机器人试验，6,650 个独特任务的多样化数据集。

上图呈现了 AutoRT 系统的运作过程：（1）自主轮式机器人找到了一个有多个物体的位置。（2）VLM 向 LLM 描述场景和物体。（3）LLM 为机器人提出各种操作任务，并决定哪些任务机器人可以独立完成，哪些任务需要人类远程控制，哪些任务不可能完成，然后做出选择。（4）机器人尝试选择要做的任务，收集实验数据，并对数据的多样性和新鲜度进行评分。机器人将不断重复这个过程。

AutoRT 具有利用大型基础模型的潜力，这对于机器人理解实际应用中的人类指令至关重要。通过收集更全面的实验训练数据和更多样化的数据，AutoRT 能够扩展机器人的学习能力，为现实世界的机器人训练带来提升。

在机器人融入我们的日常生活之前，需要保证它们的安全性，这要求研究者做到负责任地开发，并对机器人的安全性进行深度研究。

虽然 AutoRT 现在只是一个数据收集系统，但可以将其视为现实世界中自主机器人的早期阶段。它具有安全护栏，其中一项是一套以安全为重点的提示词，它能够在机器人执行基于 LLM 的决策时提供需要遵守的基本规则。