OpenAI要为GPT-4解决数学问题了：奖励模型指错，解题水平达到新高度

来源：机器之心

对于具有挑战性的 step-by-step 数学推理问题，是在每一步给予奖励还是在最后给予单个奖励更有效呢？OpenAI 的最新研究给出了他们的答案。

图片来源：由无界 AI工具生成

现在，大语言模型迎来了「无所不能」的时代，其中在执行复杂多步推理方面的能力也有了很大提高。不过，即使是最先进的大模型也会产生逻辑错误，通常称为幻觉。因此，减轻幻觉是构建对齐 AGI 的关键一步。

为了训练更可靠的模型，目前可以选择两种不同的方法来训练奖励模型，一种是结果监督，另一种是过程监督。结果监督奖励模型（ORMs）仅使用模型思维链的最终结果来训练，而过程监督奖励模型（PRMs）则接受思维链中每个步骤的奖励。

考虑到训练可靠模型的重要性以及人工反馈的高成本，仔细比较结果监督与过程监督非常重要。虽然最近的工作已经开展了这种比较，但仍然存在很多问题。

在本文中，OpenAI 进行了调研，结果发现在训练模型解决 MATH 数据集的问题时，过程监督显著优于结果监督。OpenAI 使用自己的 PRM 模型解决了 MATH 测试集中代表性子集的 78% 的问题。

此外为了支持相关研究，OpenAI 还开源了 PRM800K，它是一个包含 800K 个步级人类反馈标签的完整数据集，用于训练它们的最佳奖励模型。

如下为一个真正（True positive）的问答示例。该问题以及 OpenAI 列举的其他问题示例均来自 GPT-4。这个具有挑战性的三角学问题需要并不明显地连续应用多个恒等式。大多数解决方案尝试都失败了，因为很难知道哪些恒等式实际上有用。尽管 GPT-4 通常无法解决这个问题（正确率仅为 0.1% ），但本文的奖励模型正确地识别出了这个解决方案是有效的。

再看一个假正（False positive）的问答示例。在第四步中，GPT-4 错误地声称该序列每 12 个项重复一次，而实际上是每 10 个项重复一次。这种计数错误偶尔会愚弄奖励模型。

论文作者之一、OpenAI Alignment 团队负责人 Jan Leike 表示，「使用 LLM 做数学题的真正有趣结果是：监督每一步比只检查答案更有效。」

英伟达 AI 科学家 Jim Fan 认为，「这篇论文的观点很简单：对于挑战性的逐步问题，要在每一步给予奖励，而不要在最后给予单个奖励。从根本上来说，密集奖励信号＞稀疏。」

我们接下来细看 OpenAI 这篇论文的方法和结果。

论文地址：https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf

数据集地址：https://github.com/openai/prm800k

方法概览

该研究按照与 Uesato et al. (2022) 类似的方法对结果监督和过程监督进行了比较。值得注意的是这项研究无需人工即可提供结果监督，因为 MATH 数据集中的所有问题都有可自动检查的答案。相比之下，没有简单的方法来自动化过程监督。该研究依靠人类数据标记者来提供过程监督，具体来说是需要人工标记模型生成的解决方案中每个步骤的正确性。该研究在大规模和小规模两种情况下分别进行了实验。

范围

对于每种模型规模，该研究都使用一个固定模型来生成所有解决方案。这个模型被称为生成器，OpenAI 表示不会通过强化学习 (RL) 来改进生成器。

基础模型

所有大型模型均是基于 GPT-4 模型进行微调得来的。该研究还添加了一个额外的预训练步骤 —— 在含有约 1.5B 数学相关 token 的数据集 MathMix 上微调所有模型。与 Lewkowycz et al. (2022) 类似，OpenAI 的研究团队发现这种方法可以提高模型的数学推理能力。

生成器

为了更容易解析单个步骤，该研究训练生成器在生成解决方案时，步骤之间用换行符分隔。具体来说，该研究对 MATH 训练问题使用少样本生成解决方案，过滤出得到最终正确答案的解决方案，并在该数据集上对基础模型进行一个 epoch 的微调。

数据采集

为了收集过程监督数据，该研究向人类数据标记者展示了大规模生成器采样的数学问题的逐步解决方案。人类数据标记者的任务是为解决方案中的每个步骤分配正面、负面或中性标签，如下图 1 所示。