UC伯克利发现GPT-4惊人缺陷：儿童从经验中学习因果，LLM却不行

文章来源：新智元

图片来源：由无界 AI生成

大家有没有想过一个问题，LLM和小朋友们，有什么差别？

你可能会说，LLM有那么多训练数据集，经过了那么多次微调，还不全方位秒杀小朋友们？

但是，最近UC伯克利的一篇论文却显示，LLM和孩童相比，欠缺了一项很重要的能力。

那就是——从经验中学习因果结构的能力。

当然了，研究人员们也并不是一点儿招没有，RLHF在某种程度上可以解决这个问题。但是解决的逻辑，却和孩子们学习完全不同。

LeCun也是转发了这篇研究，并配文「那些孩子们可以，LLM却做不到的事。」

LLM究竟拟人吗

首先，我们知道，关于大型语言模型和语言与视觉模型的讨论，主要集中在这些模型是否是智能体上。

而UC伯克利的研究人员则提出了一个不同的观点。

他们认为，这些AI模型是高效和强大的模仿引擎。

接着他们通过测试这些AI模型是否可以发现新的工具和新颖的因果结构，以及将它们接到指令的反应与人类儿童进行对比，来探讨AI模型能在模仿和创新这方面，启发研究人员什么。

不少人表示，这些LLM不就是一个又一个智能体嘛。图片、文本，什么都能生成，这多聪明。

甚至，他们还会在口语表达中暗示了这种拟人化的夸赞——一「个」AI，就好像咱们说一个人一样。

UC伯克利的研究人员则认为，这么想就错了。

LLM就像历史中我们见过的那些技术，比如书写、印刷、图书馆、互联网，甚至语言本身。

大型语言和视觉模型提供了一种新的方法，让我们能轻松有效地访问其他人编写的大量文本和其他人生成的图像。

换句话说，这些AI系统为文化生产和演化提供了一种新的手段，允许信息在不同群体之间高效传递。它们汇总了以前由人类代理生成的大量信息，并从中提取模式。

所以，并不拟人。

这与介入外部世界，并生成关于它的信息的感知和行动系统形成对比。换言之，人类的模式。

这里要注意，这种对比不仅限于感知和行动系统本身，还包括科学或是直观理论中所体现的因果关系。它们与外部世界有关，并对该世界进行预测并影响该世界上的行动。

同时，后期来自该外部世界所获得的新证据可以从根本上修改以往的因果关系。

当然，这些寻求真理的认识过程也是一些AI系统的基础。例如，强化学习系统，特别是基于模型的系统，可以被理解为在世界上采取行动以解决类似于逆问题的系统。

它们积累数据来构建世界的模型，从而实现广泛和新颖的泛化。这一点在机器人领域尤其突出，这些系统与外部世界接触，改变自身的模型，允许新的行动和泛化，虽说程度有限。

类似地，一些AI方法也已经把因果推断和理论形成整合到了其学习机制中，以设计更像人类的系统。

然而，这些系统与我们往常熟悉的，依赖于大量现有数据的、相对简单的、大型语言和视觉模型有显著不同。

寻求真理的认识过程与能够忠实传递表示（representation）的过程这两件事一直会是相抗的，无论这些表示与外部世界之间的关系如何。这种传递对于语言学习和社会协调等能力至关重要。

目前，研究人员有大量证据表明，这种忠实传递的机制在早期发展中已经存在，并在人类认知和文化中发挥着特别重要的作用。

然而，这些机制也可能与寻求真理的因果推断和理论形成机制产生一些微妙的关系，原因可能有好有坏。

比方说，在「过度模仿」（overimitation）的现象中，人类儿童（和成年人）会在复杂的行动序列中重现出现过的所有细节，即使这些细节对该行动的结果并不具有因果关系。

过度模仿可能会增加复杂行动传递的忠实度和效率。但是，这也意味着该传递并不根植于受环境变化所改变的因果理解。同样也有证据表明，儿童会在未经批判性思考的情况下接受别人对外部世界的看法，当且仅当又遇到另一个人所有的不同看法时，儿童才会改变原有的看法。

这点还是蛮有共鸣的，打个比方就是，孩子们起初是一张白纸，画什么是什么，有新的认知才会覆盖原有的色彩。

研究人员认为，大型语言模型有力的促进了这种类型的传递，方式则是总结，和从现有文本中进行泛化。

然而，它们的训练过程中，或是目标函数中，没有设计任何有关履行感知、因果推断或理论形成等寻求真理的系统的认识功能。