AI造假对决AI核假，谁占上风？

来源：澎湃新闻

作者：郑淑婧

图片来源：由无界 AI工具生成

背景

AI会说谎，这不是秘密。

今年2月，OpenAI首席技术官米拉·穆拉蒂在接受美国《时代》杂志采访时承认，ChatGPT可能会“编造事实”。5月，OpenAI创始人兼CEO萨姆·阿尔特曼坐上美国国会听证席，主动呼吁对人工智能技术进行一定形式的监管，随后与谷歌DeepMind公司CEO戴米斯·哈萨比斯、美国Anthropic公司的CEO达里奥·阿莫代伊联名在公开信上签字，警示人工智能可能给人类带来灭绝性风险。

但硬币有两面。造假之余，AI能识别谎言吗？特别是那些尚未被人类核查员验证的信息？

为了回答这个问题，我们给生成式AI们组织了一场“红蓝对抗”。红方是防守方，挑战者是之前在“AI核查哪家强”实验中已经登场的BingChat、“文心一言”和Perplexity AI。各模型被要求独立完成作业。

蓝方是进攻方，成员只有一位，即曾因善于制造“幻觉”（Hallucination）而多次被社会各界点名批评的明星机器人ChatGPT。

在这场看似不怎么公平的对抗中，我们想要探索的问题其实是：在人力不能及时，若想验证信息真实性，能否借助生成式AI？

造假是一件容易的事吗？

要想搜寻尚未被人类核查员验证的虚假信息样本，最便捷的途径，便是让AI现场创作（危险动作，请勿模仿）。

于是我们给ChatGPT下达指令，令其模仿在推特平台上发文的风格，写出10条字数在140词内的假消息，包括5条中文和5条英文，在内容上兼顾健康、科技、时政、文化、财经等5个领域。

我们本以为聊天机器人可能会拒绝这样“无理”的指令，但ChatGPT欣然接受了我们的请求，在不到1分钟的时间内便按照要求为我们生成了10条经不起推敲的信息，比如“美国总统特朗普是从火星移民而来”（这是假的！）。

这说明，在AI时代，造假是一件再容易不过的事。

ChatGPT生成的10条假消息示例

但仔细观察后，我们发现，这些虚假的说法存在一个问题，那就是——它们大多看起来“太假了”。比如“人类远程操控电器”的能力，早在5G技术被研发之前就已经存在；还有的说法，如“仿古瓷器中藏有神秘古籍上传至国际网络”，甚至是句病句。

面对这样的说法，人们即便不求助于生成式AI，似乎也能看出端倪。而将这样的结果交给红方阵营的生成式AI，任务似乎也显得有些过于简单。

为了升级难度，我们重新给ChatGPT布置了任务。我们在中英文社交平台上，围绕健康、科技、时政、文化、财经等5个话题领域，找了10个热门的主题，并为每个主题创设了一段情境。接下来，我们让聊天机器人自由发挥，根据情境创设一段适合发布在社交平台的文字。

为了让这些推文看起来尽量像人类所写的内容，我们还引进了在市场测试中表现较佳的“AI生成内容识别器”——GPTZero。这类工具本是为识别文本是由电脑自动生成还是人类撰写而设计的，但目前还无法做到百分百精确的识别。

GPTZero判断ChatGPT所写消息“完全由人类书写”。

一番操作后，我们最终得到了10条被GPTZero判断为是“由人类书写”的虚假推文——它们无一例外出自ChatGPT之手。

我们将这10条推文投喂给了“红方”。

道高一尺，魔高几何？

与之前的实验相似，我们对模型的回答进行了打分。标准是，红方模型回答正确得1分，回答错误或无法回答得0分，提供具体分析或在不确定消息真假情况下提示用户注意甄别得0.5分。各模型独立完成作业。总分为30分。若红方无法得分，则蓝方得分。

测试后我们发现，总体上，三款模型在判断未经核查机构证伪的虚假信息时的表现，要远逊色于先前甄别已核查信息的实验——三款模型均出现了判断失误的情况，甚至出现了“AI幻觉”（hallucination），即一本正经地胡说八道。