微软推出“从错误中学习”模型训练法，号称可“模仿人类学习过程，改善 AI 推理能力”

据 IT 之家 11 月 7 日消息，微软亚洲研究院联合北京大学、西安交通大学等高校提出了一项名为“从错误中学习（LeMA）”的 AI 训练方法，号称可以通过模仿人类学习知识的过程，来改进 AI 推理能力。

为了提升开源大语言模型的思维链推理能力，研究团队提出了 LeMA 方法。这种方法主要是模仿人类的学习过程，通过“从错误中学习”，以改进模型的推理能力。研究人员的方法是使用一对包含“错误解答”与“修正后正确答案”的数据来微调相关模型。为取得相关数据，研究人员收集了 5 个不同大语言模型（包括 LLaMA 及 GPT 系列）的错误答案和推理过程，再以 GPT-4 作为“订正者”，提供修正后的正确答案。

据悉，修正后的正确答案中包含三类信息，分别是原推理过程中错误片段、原推理过程出错的原因、以及如何修正原方法以获得正确答案。

原文链接