AI能理解自己生成的东西吗? 在GPT-4、Midjourney上实验后，有人破案了

文章来源：机器之心

编辑：大盘鸡、蛋酱

没有「理解」，「创造」也就无从谈起。

图片来源：由无界 AI生成

从 ChatGPT 到 GPT4，从 DALL・E 2/3 到 Midjourney，生成式 AI 引发了前所未有的全球关注。强大的潜力让人们对 AI 产生了许多期待，但是强大的智能也会引发人们的恐惧和担忧。近期大牛们针对该问题还上演了一场激烈的论战。先是图灵得奖主们「混战」，后有吴恩达下场加入。

在语言和视觉领域，目前的生成模型只需要几秒钟就可输出，甚至能够挑战具有多年技能和知识的专家。这似乎为模型已经超越人类智能的说法提供了令人信服的动机。但是，同样需要注意到的是，模型输出中常有理解性的基本错误。

这样看来，似乎出现了一个悖论：我们要如何协调这些模型看似超人的能力与持续存在的大多数人类都能纠正的基本错误？

近日，华盛顿大学与艾伦人工智能研究院（Allen Institute for AI）联合发布论文，对这一悖论进行研究。

论文地址：https://arxiv.org/abs/2311.00059

本文认为，之所以会出现这样的现象，是因为当今生成模型中的能力配置与人类的智能配置相背离。本文提出并测试了生成式 AI 悖论假设：生成模型通过训练，直接输出媲美专家的结果，该过程直接跳过了理解生成该质量输出的能力。然而，对于人类来说，这截然不同，基本的理解往往是专家级输出能力的先决条件。

在本文中，研究者通过对照实验来检验这一假设，分析生成模型对文本和视觉的生成、理解能力。本文首先通过两个角度讲生成模型的「理解」概念化：

研究者发现，在选择性评估中，模型在生成任务设置中的表现往往与人类相当甚至优于人类，但在判别（理解）设置中，模型的表现却不及人类。进一步的分析表明，与 GPT-4 相比，人类的判别能力与生成能力联系更为紧密，而且人类的判别能力对对抗性输入也更为鲁棒，模型与人类的判别能力差距随着任务难度的增加而增大。

同样，在询问性评估中，虽然模型可以在不同任务中产生高质量的输出，但研究者观察到模型在回答有关这些输出的问题时经常出现错误，模型的理解能力再次低于人类的理解能力。本文讨论了生成模型与人类在能力配置上出现分歧的一系列潜在原因，包括模型训练目标、输入的大小和性质。

这项研究的意义在于，首先，这意味着从人类经验中得出的现有智能概念可能无法推广到 AI，即使 AI 的能力在很多方面似乎模仿或超越了人类智能，但其能力可能与人类的预期模式存在根本性差异。另一方面，本文研究结果也建议，在研究生成模型以深入了解人类智能和认知时要谨慎，因为看似专家级的类人输出可能掩盖了非人类的机制。 

总之，生成式 AI 悖论鼓励人们把模型作为一个人类智能的有趣对立面来研究，而不是作为一个平行的对立面来研究。

「生成式 AI 悖论强调了一个有趣的概念，即 AI 模型可以创造出它们自己可能无法完全理解的内容。这就提出了人工智能存在理解的局限性及其强大的生成能力背后所面临的潜在问题。」网友表示。

何谓生成式 AI 悖论 

我们首先了解一下生成式 AI 悖论以及测试它的实验设计。

图 1：语言和视觉中的生成式 AI 可以产生高质量的结果。然而，矛盾的是，模型在展示对这些模式的选择性（A，C）或询问性（B，D）理解方面有困难。

生成模型获得生成能力似乎比获得理解能力更有效，这与人类的智能形成鲜明对比，后者通常是获得生成能力更难。

要验证这一假设，需要对悖论的各个方面进行操作性定义。首先，对于给定的模型和任务 t，以人类智能为基线，生成能力比理解能力「更有效」意味着什么。将 g 和 u 作为生成和理解的一些性能指标，研究者将生成式人工智能悖论假设正式表述为：