清华、小米、华为、 vivo、理想等多机构联合综述，首提个人LLM智能体、划分5级智能水平

来源：机器之心

图片来源：由无界 AI生成

嘿 Siri、你好小娜、小爱同学、小艺小艺、OK Google、小布小布……

想必这些唤醒词中至少有一个曾被你的嘴发出并成功呼唤出了一个能给你导航、讲笑话、添加日程、设置闹钟、拨打电话的智能个人助理（IPA）。可以说 IPA 已经成了现代智能手机不可或缺的标配，近期的一篇综述论文更是认为「个人 LLM 智能体会成为 AI 时代个人计算的主要软件范式」。

这篇个人 LLM 智能体综述论文来自国内多所高校和企业研究所，包括清华大学、小米、华为、欢太、vivo、云米、理想汽车、北京邮电大学、苏州大学。

文中不仅梳理了个人 LLM 智能体所需的能力、效率和安全问题，还收集并整理了领域专家的见解，另外还开创性地提出了个人 LLM 智能体的 5 级智能水平分级法。该团队也在 GitHub 上创建了一个文献库，发布了相关文献，同时也可供 IPA 社区共同维护，更新最新研发进展。

论文地址：https://arxiv.org/abs/2401.05459 文献库：https://github.com/MobileLLM/Personal_LLM_Agents_Survey 论文标题：Personal LLM Agents: Insights and Survey about the Capability, Efficiency and Security

机器之心整理了这篇综述论文的内容主干，以飨读者。

科幻描绘了很多亮眼的智能个人助理（IPA），即可以增强个人能力、完成复杂任务甚至满足情感需求的软件智能体。这些智能体可以代表大多数人对人工智能（AI）的幻想。

随着智能手机、智能家居设备、电动车等个人设备的广泛普及和机器学习技术的进步，这种幻想正在逐渐变成现实。现在，很多移动设备都内嵌了 IPA 软件，比如 Siri、Google Assistant、Alexa 等。这些智能体与用户密切相关，可以读取用户数据和传感器数据、控制各种个人设备、使用与个人账户关联的个性化服务。

但是，当今的智能个人助理的灵活性和可扩展性都还有限。它们的智能水平还远远不够，在理解用户意图、推理和任务执行等方面尤其明显。现如今大多数智能个人助理都只能执行受限范围内的任务（比如内置应用的简单功能）。一旦用户的任务请求超出了这些范围，智能体就无法准确理解和执行这些动作。

要改变这种情况，就必须显著提升智能体的能力，使其支持范围更广、更灵活的任务。但是，当前的 IPA 产品很难支持大范围的任务。当今大多数 IPA 都需要遵循特定的预定义规则，比如开发者定义的规则或用户演示的步骤。因此，除了定义任务执行的触发器和步骤之外，开发者或用户还必须明确指定他们希望支持哪些功能。本质上讲，这种方法会限制这些应用被用于更广泛的任务，因为支持更多任务需要大量时间和劳动力成本。

某些方法在尝试通过监督学习或强化学习实现自动化学习，从而支持更多任务。但是，这些方法也需要大量人工演示和 / 或定义奖励函数的工作。

近些年出现的大型语言模型（LLM）为 IPA 的开发带来了全新的机会，其展现出了解决智能个人助理可扩展性问题的潜力。

相比于传统方法，ChatGPT 和 Claude 等大型语言模型已经展现出了指令遵从、常识推理和零样本泛化等特有能力。这些能力的实现基于在大规模语料库（超过 1.4 万亿词）上进行无监督学习以及后续通过人类反馈进行微调。利用这些能力，研究者已经成功采用大型语言模型来驱动自动智能体（即 LLM 智能体），其目标是通过自动进行规划和使用搜索引擎、代码解释器和第三方 API 等工具来解决复杂问题。

IPA 是一类特殊的智能体，有望通过 LLM 实现变革，毕竟 LLM 具备显著增强的可扩展性、能力和有用性。我们可以把 LLM 驱动的智能个人助理称为个人 LLM 智能体（Personal LLM Agents）。

相比于普通 LLM 智能体，个人 LLM 智能体会更深度地参与个人数据和移动设备，并且它们也有更明确的设计目的：辅助人类而非取代人类。

具体而言，辅助用户的主要方式是减少他们日常生活中重复、乏味、低价值的劳动，让用户能专注于更有趣、更有价值的事情，从而提高工作和生活的效率和质量。个人 LLM 智能体可基于现有软件栈（例如移动应用、网站等）构建，同时还能通过无处不在的智能自动化能力带来令人耳目一新的用户体验。