吃“有毒”数据，大模型反而更听话了！来自港科大华为诺亚方舟实验室

来源：量子位

现在，大模型也学会“吃一堑，长一智”了。

来自香港科技大学和华为诺亚方舟实验室的最新研究发现：

相比于一味规避“有毒”数据，以毒攻毒，干脆给大模型喂点错误文本，再让模型剖析、反思出错的原因，反而能够让模型真正理解“错在哪儿了”，进而避免胡说八道。

具体而言，研究人员提出了“从错误中学习”的对齐框架，并通过实验证明：

让大模型“吃一堑，长一智”，在纠正未对齐的模型方面超越了SFT和RLHF的方法，而且在对已对齐模型进行高级指令攻击的防御方面也具有优势。

一起来看详情。

从错误中学习的对齐框架

现有的大语言模型对齐算法主要归为两大类：

SFT方法主要依赖于海量人工标注的问答对，目的是使模型学习“完美的回复”。但其缺点在于，模型很难从这种方法中获得对“不良回复”的认知，这可能限制了其泛化能力。

RLHF方法则通过人类标注员对回复的排序打分来训练模型，使其能够区分回复的相对质量。这种模式下，模型学会了如何区分答案的高下，但它们对于背后的“好因何好”与“差因何差”知之甚少。

总的来说，这些对齐算法执着于让模型学习“优质的回复”，却在数据清洗的过程中遗漏了一个重要环节——从错误中汲取教训。

能不能让大模型像人类一样，“吃一堑，长一智”，即设计一种对齐方法，让大模型既能从错误中学习，又不受含有错误的文本序列影响呢？

△“从错误中学习”的大语言模型对齐框架，包含4个步骤，分别是（1）错误诱导（2）基于提示指引的错误分析（3）无引导的模型微调（4）基于提示引导的回复生成

香港科技大学和华为诺亚方舟实验室的研究团队对此进行了实验。

通过对Alpaca-7B、GPT-3和GPT-3.5这三个模型的实验分析，他们得出了一个有趣的结论：

对于这些模型，识别错误的回复，往往比在生成回复时避免错误来得容易。

△判别比生成更容易

并且，实验还进一步揭示，通过提供适当的指导信息，例如提示模型“回复中可能存在错误”，模型识别错误的准确性可以得到显著提升。

基于这些发现，研究团队设计了一种利用模型对错误的判别能力来优化其生成能力的全新对齐框架。

对齐流程是这样的：

（1）错误诱导

这一步的目标是诱导模型产生错误，发现模型的弱点所在，以便后续进行错误分析和修正。

这些错误案例可以来自于现有的标注数据，或者是模型在实际运行中被用户发现的错例。

该研究发现，通过简单的红队攻击诱导，例如向模型的指令中添加某些诱导性关键字（如“unethical”和“offensive”），如下图(a)所示，模型往往会产生大量不恰当的回复。

（2）基于提示引导的错误分析

当收集到足够多包含错误的问答对后，方法进入第二步，即引导模型对这些问答对进行深入分析。

具体来说，该研究要求模型解释为什么这些回复可能是不正确或不道德的。

如下图(b)所展示，通过为模型提供明确的分析指导，比如询问“为什么这个答案可能是错误的”，模型通常能给出合理的解释。

（3）无引导性的模型微调

在收集了大量的错误问答对及其分析后，该研究使用这些数据来进一步微调模型。除了那些包含错误的问答对，也加入了正常的人类标注问答对作为训练数据。

如下图(c)所示，在这一步骤中，该研究并没有给模型任何关于回复中是否包含错误的直接提示。这样做的目的是鼓励模型自行思考、评估并理解出错的原因。

（4）基于提示引导的回复生成

推理阶段采用了基于引导的回复生成策略，明确提示模型产生“正确的、符合道德且无冒犯性”的回复，从而确保模型遵守道德规范，避免受到错误文本序列影响。

即，在推理过程中，模型基于符合人类价值观的生成指导，进行条件生成，从而产生恰当的输出。

△“从错误中学习”的大语言模型对齐框架指令示例

以上对齐框架无需人类标注以及外部模型（如奖励模型）的参与，模型通过利用自身对错误的判别能力对错误进行分析，进而促进其生成能力。