大模型幻觉问题无解？理论证明校准的LM必然会出现幻觉

文章来源：机器之心

理论证明！校准的语言模型必然出现幻觉。

图片来源：由无界 AI生成

大型语言模型（LLM）虽然在诸多下游任务上展现出卓越的能力，但其实际应用还存在一些问题。其中，LLM 的「幻觉（hallucination）」问题是一个重要缺陷。

幻觉是指由人工智能算法生成看似合理但却虚假或有误导性的响应。自 LLM 爆火以来，研究人员一直在努力分析和缓解幻觉问题，该问题让 LLM 很难广泛应用。

现在，一项新研究得出结论：「经过校准的语言模型必然会出现幻觉。」研究论文是微软研究院高级研究员 Adam Tauman Kalai 和佐治亚理工学院教授 Santosh S. Vempala 近日发表的《Calibrated Language Models Must Hallucinate》。该论文表明预训练语言模型对特定类型的事实产生幻觉存在一个固有的统计学原因，而与 Transformer 架构或数据质量无关。

论文地址：https://arxiv.org/abs/2311.14648

一个语言模型其实就是在 token 序列（如词或其它字符序列）上的一个概率分布 D。每个分布 D 都可以等效地表示成其在整个序列上的对数概率或后续 token 基于之前 token 的条件对数概率

这种数学等价性意味着任何语言模型都要么可用于生成文本，要么就能基于之前的 token 根据自然出现的文本来预测下一个 token。

举个例子，假设有以下句子：

Alexa Wilkins had a tuna sandwich at Salumeria for lunch last Tuesday because the reviews said that it was divine.

对于这样的句子，我们可以使用预测式语言模型等技术来提供建议，从而减少输入时点击手机的次数。我们可能希望词 tuna 之后有 sandwich 这个选项，另外还有其它可能的词，比如 salad 和 roll。另一方面，如果使用一个生成式语言模型来随机生成，那么这类句子大部分都会是错误的。

这篇论文表明，具有优良预测文本性能的语言模型必定会产生幻觉，即便在理想条件下也是如此。要注意的是，对于当今常见的生成式语言模型，预测文本性能的优化工作位于「预训练」的第一个阶段。此外，它还能给出幻觉率的下限；幻觉率可反映不同类型的事实产生幻觉的速率。

以上参考和示例和共同之处是它们是任意的，也就是说 5W（= Who-Ate-What-When-Where-Why 仿真事实）中的每一项都无法通过规则来系统性地确定 —— 对于大多数不存在于训练数据中的此类事实，人们无法确定其真实性。这与可系统性地确定真实性的事实不同。即使在具有几个理想属性的简化环境中，我们也能量化语言模型出现幻觉的可能性。

因为这篇论文要给出统计下限，因此更倾向于简单而非普遍性，因为这里的下限的目标是确定语言模型幻觉的根本原因。类似于分类任务（寻找的是在无噪声环境中分类难度的下限），这里需要找到在最简单的设置中也成立的幻觉下限，而最简单的设置是指训练数据是独立同分布且没有事实性错误。

对生成模型进行校准

对一个概率式预测器来说，校准（Calibration）是很自然的需求，因为这意味着其概率可被解释成对其自身预测结果的准确置信度。

Philip Dawid 在 1982 年引入了校准这一概念，他当时还给出了一个很多人都很熟悉的例子：当天气预报说未来几天降雨概率为 30% 时，其实是指大约 30% 的时间会下雨。

已经有不少研究者探究过语言模型的校准指标。图 1 给出了 GPT-4 在一个多选题测验上的多类别校准示例。

为了减少幻觉问题，人们常在训练后进行对齐操作，但研究发现对齐也会降低校准度。校准是有意义的（因为校准后的预测器的概率可以解释为准确置信度），而且在统计学上也是可实现的。相较之下，完美准确的预测器也可以校准，但可能无法学习。

然而，校准只是预测器的最低要求，因为并非所有校准过的模型都是有用的预测器：始终输出年平均降雨概率的预测器很简单就能校准。