Meta 重磅更新，小扎在元宇宙里养了会做家务的狗！人形化身超逼真，AI 智能体在真实物理世界和人互动

来源：新智元

今天，Meta重磅发布了Habitat 3.0，经它训练的AI智能体，学会了找人，还能帮人打扫房间。社交智能机器人，进入下一个里程碑！

今天开始，人类离帮忙做家务的机器人，又近了一步！

Meta宣布推出Habitat 3.0，目的是开发出社会化的AI智能体，这意味着社交智能机器人已经进入新的里程碑阶段。

这些具身智能背后的关键，当然就是AI Agent。有了它们，机器人可以和人类协作，帮人类完成日常任务。

论文地址：https://ai.meta.com/static-resource/habitat3

项目地址：https://github.com/facebookresearch/habitat-lab/tree/v0.3.0

其实，Meta在今天同时宣布了三项重大进展——

1. Habitat 3.0是第一个支持在多样化、逼真的室内环境中，就人机交互任务进行大规模训练的模拟器。

它能同时支持机器人和人形化身，让人类和机器人在家庭环境中协作，比如帮忙打扫房间。

2. Habitat合成场景数据集（HSSD-200），是由艺术家创造的三维数据集，包含211个场景中466个语义类别的18,000多个对象。

HSSD-200在同类数据集中质量最高，可以训练导航智能体，对物理世界三维重建场景的泛化效果非常好，使用的场景数量也要少两个数量级。

3. HomeRobot则是一个家用机器人助手硬件和软件平台，非常经济实惠，机器人可以在模拟和物理世界环境中，执行开放的词汇任务。

在大规模学习上，Habitat 3.0在单GPU上每秒可以完成超过1000步。

网友：能干家务的机器人什么时候出来

网友们表示：这是机器人技术的重大飞跃。

还有人感慨：这是非常高级的模拟人生游戏。

已经有人期待在Meta Quest VR中体验 Habitat 3.0了。

Dream一下，家政辅助机器人应该不远了。

Habitat 3.0

利用Habitat 3.0，Meta不仅在外貌和姿势上对人类进行了真实的模拟。

而且，还支持从简单（如行走和挥手）到复杂（如与物体交互）等各种类型的动作，并兼容动捕。

此外，虚拟化身还可以通过程序进行控制，并且不会出现性能下降——人-机模拟速度跟机器人-机器人模拟速度类似。

人在回路

Habitat 3.0的另一个关键特征，就是「人在回路」了。

通过鼠标、键盘或VR，我们可以实现效果惊人的人机交互控制。

完成任务后，系统会收集机器人的策略和数据，并进行人机交互的评估。

社交任务

此外，Habitat 3.0还可以模拟多种真实的社交场景。

比如在被称为社交导航的任务中，机器人需要在保持安全的同时找到并跟随人类。

在另一项任务中，机器人需要和人类共同协作，完成诸如整理房间的任务。

这时人和机器人需要分别走到目标位置，其中，机器人需要想办法尽可能高效地和人类共同实现这一目标。

经过训练的机器人，可以实现各种社会行为！

除了能和人类保持安全距离外，机器人还会在必要时自己后退，给人类留出走路的空间。

让AI智能体在真实世界和人类互动

以往，当我们想到AI助手时，想到的通常是基于网络的聊天机器人，或者智能扬声器。

而Meta的研究者们一直希望实现具备通用智能的具身AI Agent，让它们可以感知环境，在数字和物理世界中和人类沟通、帮助人类。

其中一个愿景，就是做出全天可穿戴的AR头显，供人类使用。

另外，研究者们还在改进社交智能机器人背后的技术，让它们帮人类干家务，还能适应人类对于伴侣要求的个性化偏好。

工作主要集中在深入研究嵌入式系统，让下一代的AR和VR体验更佳。

不过，在物理硬件（无论是机器人还是AR眼镜）上与真人一起训练和测试具身AI智能体，会有一些可扩展性限制，还可能存在安全问题。

这就需要建立标准化的基准程序。

因此，Meta的研究者们开发了一套新工具，用于跨模拟器、数据集的机器人研究。

他们还开发了一个包含软硬件的技术堆栈，让这方面的研究更容易，也更实惠。

为了快速提高机器人能力，研究者在模拟器中开发和测试新的算法和模型，然后移植到实体机器人上。

几年以来，Habitat模拟器取得了许多显著的进步。

在Habitat 1.0训练的虚拟机器人，能以每秒超过10,000步（SPS）的速度，在物理世界房屋的三维扫描中导航。

Habitat 2.0 引入了交互式环境（例如，可拿起的物品、可打开的抽屉），并训练虚拟机器人通过重新排列物品来清理房屋。

Habitat 3.0在此基础更进一步，能够同时支持机器人和人形化身，实现人机协作完成日常任务，比如整理客厅、在厨房准备食谱。

这就开辟了新途径，研究人类与机器人在多样化、逼真、视觉和语义丰富的任务中的协作。