深度学习三巨头之一 Yann LeCun：大语言模型带不来 AGI

作者：凌梓郡、Li Yuan

图片来源：由无界 AI工具生成

当今世界，Yann LeCun 、Geoffrey Hinton 以及 Yoshua Bengio 三位科学家并称为深度学习三巨头。值得注意的是，三巨头之中，LeCun 对于 AI 发展所持的态度是最为乐观的。此前在马斯克提出「人工智能给人类文明带来了潜在风险」时，LeCun 曾公开反驳，认为人工智能远未发展到给人类构成威胁的程度。关于 AI 接下来该如何发展，在今天上午于北京举行的 2023 智源人工智能大会上，他发表了名为《走向能够学习、推理和规划的大模型》的演讲，表达了系统的思考。

法国当地时间凌晨四点，LeCun 从法国的家中连线智源大会的北京现场。尽管 OpenAI 的 GPT 路线风头正盛，许多人认为大语言模型将通往 AGI，LeCun 却直言不讳：需要放弃生成模型、强化学习方法这样的主流路线。他认为，基于自监督的语言模型无法获得关于真实世界的知识。尽管语言生成的内容质量一直提升，但是这些模型在本质上是不可控的。对于语言模型的局限性理解，也基于他此前的一个基本观点：人类有许多知识是目前无法被语言系统所触达的。

因此，想让 AI 获得如人一般对真实世界学习、应对和规划的能力，他展示了自己在一年前所发表的论文中提出的架构「自主智能」(autonomous intelligence）。这是由一个配置模块控制整个系统，基于输入信息，进行预测、推理、决策的架构。其中的「世界模块」具有估计缺失信息、预测未来外界状态的能力。

极客公园团队在智源大会现场观看了这场演讲，以下为核心观点精彩摘要以及经过编辑的演讲内容。

LeCun 核心观点精彩摘要：

AI 的能力距离人类与动物的能力，还有差距——差距主要体现在逻辑推理和规划，大模型目前只能「本能反应」。

什么是自监督学习？自监督学习是捕捉输入中的依赖关系。训练系统会捕捉我们看到的部分和我们尚未看到的部分之间的依赖关系。

目前的大模型如果训练在一万亿个 token 或两万亿个 token 的数据上，它们的性能是惊人的。我们很容易被它的流畅性所迷惑。但最终，它们会犯很愚蠢的错误。它们会犯事实错误、逻辑错误、不一致性，它们的推理能力有限，会产生有害内容。由此大模型需要被重新训练。

如何让 AI 能够像人类一样能真正规划？可以参考人类和动物是如何快速学习的——通过观察和体验世界。

Lecun 认为，未来 AI 的发展面临三大挑战，并由此提出「世界模型（World Model）」。

以下为演讲全文的部分摘要，

经极客公园编辑后发布：

很抱歉我不能亲自到场，已经很久没有去中国了。

今天我将谈一下我眼中的人工智能的未来。我会分享一下 AI 在未来十年左右的方向，以及目前的一些初步结果，但还没有完整的系统。

本质上来说，人类和动物的能力和今天我们看到的AI的能力之间，是有差距的。简单来说，机器学习和人类动物相比并不特别好。AI 缺失的不仅仅是学习的能力，还有推理和规划的能力。

过去几十年来，我们一直在使用监督学习，这需要太多的标注。强化学习效果不错，但需要大量的实验。最近几年，我们更多使用机器自我监督，但结果是，这些系统在某种程度上是专业化和脆弱的。它们会犯愚蠢的错误，它们不会推理和规划，它们只是快速地反应。

那么，我们如何让机器像动物和人类一样理解世界的运作方式，并预测其行动的后果？是否可以通过无限步骤的推理执行链，或者将复杂任务分解为子任务序列来规划复杂任务？

这是我今天想讲的话题。

但在此之前，我想先谈一下什么是自我监督学习？自我监督学习是捕捉输入中的依赖关系。在最常见的范例中，我们遮盖输入的一部分后将其反馈送到机器学习系统中，然后揭晓其余的输入——训练系统会捕捉看到的部分和尚未看到的部分之间的依赖关系。有时是通过预测缺失的部分来完成的，有时不完全预测。

这种方法在自然语言处理的领域取得了惊人的成功（如翻译、文本分类）。最近大模型的所有成功都是这个想法的一个版本。

同样成功的是生成式人工智能系统，用于生成图像、视频或文本。在文本领域这些系统是自回归的。自监督学习的训练方式下，系统预测的不是随机缺失的单词，而是仅预测最后一个单词。系统不断地预测下一个标记，然后将标记移入输入中，再预测下一个标记，再将其移入输入中，不断重复该过程。这就是自回归 LLM。