GPT-4作弊被抓！吉娃娃or松饼打乱顺序就出错，LeCun：警惕在训练集上测试

原文来源：量子位

图片来源：由无界 AI生成

GPT-4解决网络名梗“吉娃娃or蓝莓松饼”，一度惊艳无数人。

然鹅，现在它被指出“作弊”了！

全用原题中出现的图，只是打乱顺序和排列方式。

结果，最新版全模式合一的GPT-4不但数错图片数量，原来能正确识别的吉娃娃也识别出错了。

那么为什么GPT-4在原图上表现的这么好呢？

搞这项测试的UCSC助理教授Xin Eric Wang猜测，原图在互联网上太流行，以至于GPT-4在训练时多次见过原答案，还给背了下来。

图灵奖三巨头中的LeCun也关注此事，并表示：

警惕在训练集上测试。

泰迪和炸鸡也无法区分

原图究竟有多流行呢，不但是网络名梗，甚至在计算机视觉领域也成了经典问题，并多次出现在相关论文研究中。

那么抛开原图的影响，GPT-4能力究竟局限在哪个环节？许多网友都给出了自己的测试方案。

为了排除排列方式太复杂是否有影响，有人修改成简单3x3排列也认错很多。

有人把其中一些图拆出来单独发给GPT-4，得到了5/5的正确率。

但Xin Eric Wang认为，把这些容易混淆的图像放在一起正是这个挑战的重点。

终于，有人同时用上了让AI“深呼吸”和“一步一步地想”两大咒语，得到了正确结果。

但GPT-4在回答中的用词“这是视觉双关或著名梗图的一个例子”，也暴露了原图确实可能存在于训练数据里。

最后也有人测试了经常一起出现的“泰迪or炸鸡”测试，发现GPT-4也不能很好分辨。

但是这个“蓝莓or巧克力豆”就实在有点过分了……

视觉幻觉成热门方向

大模型“胡说八道”在学术界被称为幻觉问题，多模态大模型的视觉幻觉问题，已经成了最近研究的热门方向。

在EMNLP 2023一篇研究中，构建了GVIL数据集，包含1600个数据点，系统性的评估视觉幻觉问题。

研究发现，规模更大的模型更容易受到错觉的影响，而且更接近人类感知。