如何解决大模型“胡说八道”？扩大模型可解释边界，从指令数据到求解增强

“Anthropic Claude2.1已经把幻觉发生几率降低了50%，但从实现原理上，模型设计就是为了生成，一定会胡说八道。”
“幻觉不是一个孤立问题，它不光跟模型结构有关，还跟数据、训练方式有关。当所有因素综合在一起，才能有效缓解幻觉问题。不过我觉得幻觉很难说根本性解决掉，它毕竟到现在位置属于概率模型。”
“可以通过有效的Prompt来减少幻觉，Prompt来自用户有时会存在误导或恶意，就需要在应用层面提供语意理解和改写。也可以制定相应安全机制，将恶意诱导排除在外。”
“现在市面上有了检索增强RAG，微调Finetune，以及控制输出和输入的工具，都是在减少幻觉。服务商做这件事情，也需要长期的AI工程化经验。”

原文来源：钛媒体APP

作者 | 杨丽

图片来源：由无界 AI‌生成

最近一段时间，钛媒体与大量AI从业者沟通中发现：大模型幻觉，已经成为阻碍企业应用的严重缺陷性问题，这也导致大模型在实际应用中无法用起来。

2022年末，ChatGPT作为一款自动化交互式聊天机器人的出现，给业界启发，由此带动了后来自然语言处理领域的解题思路。

只不过，外界一开始所忽视的是，这款聊天机器人最早被命名为ELIZA，其目的是模拟一位心理诊疗师，通过接受用户的输入（这个过程称为“理解用户意图”），然后巧妙地输出让用户保持参与的回复。

但由于大语言模型（LLM）的训练语料是来自于互联网、书籍、文章等海量数据，虽然机器人展示出了比较高的上下文理解能力，但其局限性从其出生就一直携带：仅限于语料知识，且往往会生成一些与事实不符或毫无根据的结果，甚至编造出一些参考文献，无意中传播出错误信息。其核心就在于，大模型本身是黑匣子，基于统计学逻辑，同时会结合提示工程、学习指令数据，生成尽可能与上下文语法语义一致的结果。

最先进的AI模型也容易说谎

OpenAI的研究人员在近期报告中指出，即使是最先进的AI模型也容易产生谎言，它们在不确定的时刻往往表现出捏造事实的倾向。而这尤其在需要多步骤推理的领域尤为严重，因为一个逻辑错误就足以影响全局。

一个臭名昭著的例子，是谷歌Bard关于韦伯望远镜的说法。

当输入“可以告诉我9岁的孩子，有关韦伯望远镜有哪些新发现吗？”谷歌Bard回答是：“韦伯望远镜拍摄了太阳系外行星的第一张照片。”

其实，该回复其实是错误的。据NASA称，第一张系外行星图像于2004年拍摄，韦伯望远镜直到2021年才发射。

钛媒体摘取了TechTarget上有关幻觉的分类表述，目前来看主要有以下几类：

句子矛盾。

⠀提示：“用四言句式写一段话描述风景。”

输出：“The grass was green.The mountains were blue.The river was purple.The grass was brown.”（草是绿色的。山是蓝色的。河流是紫色的。草是棕色的。）

与提示矛盾。句子与生成该句子的提示词矛盾。

⠀提示：“给我侄女写一张生日贺卡。”

输出：“周年纪念快乐，爸爸妈妈！”

与事实矛盾。将虚构信息呈现为事实。

⠀提示：“说出美国的三个城市。”

输出：“纽约、洛杉矶、多伦多。”

不相关或随机性。生成与输入或输出无关的随机信息。

⠀提示：“请描述下伦敦。”

输出：“伦敦是英国的一座城市。猫每天至少需要喂一次。”

值得一提的是，生成式AI这件事儿的难点，不光在文字生成，同样也存在于一开始的图像生成领域。

对抗AI幻觉，从GAN就已经开始

2017年前后，GenAI使用最多的算法还不是GPT，而是对抗生成网络GAN（Generative Adversarial Networks）。即让两个神经网络相互PK，从给定的训练数据集生成更接近人类真实的图像。当年你看到过的，生成漫画脸/表情、人体姿势生成、风景合成、老照片修复等场景，都应用自GAN的不同变种。

但此算法有个问题，由于是根据给定数据集，生成的内容只会模仿，无限接近于真实，无法真正突破。

GAN的缺点被后来的扩散化模型Diffusion克服。其原理类似于给照片去噪点，通过学习去噪过程来理解一张有意义的图像是如何生成的，因此Diffusion模型生成的图片相比GAN模型精度更高，更符合人类视觉和审美逻辑，同时随着样本数量和深度学习时长的积累，模型展示出对艺术风格较好的模仿能力。

从Disco Diffusion，到2023年大火的Stable Diffusion、DALL-E2、MidJourney等，都是基于Diffusion改造而来，为图生图或文生图应用的典型代表。