文章来源：硅星人Pro

图片来源：由无界AI生成

上海人工智能研究室（下简称上海 AI Lab）在徐汇区云锦路上有11幢楼。这里有6000张GPU，也是这座城市在人工智能领域的中心。

这是上海想要抓住的一条新的“黄河路”。今年六月的2023世界人工智能大会，这里是其中一个分会场。那时全球有30多款大模型在上海聚拢。现在国内的大模型数量已经超过了200个。

“你看那边，看到那个麦当劳了吗，他前面黑色的那些建筑群，就是上海 AI Lab了。”从前滩太古里的天桥上可以隐约看到那里，高梵大致指了指。

图源：小红书用户@APP

高梵是爱丁堡大学AI方向的研究生，今年即将毕业，在2023年末回到国内。他是当下比较新的一个大模型评测基准CoT Hub的核心构建者之一。CoT Hub这个项目的发起者是符尧，在这之前，符尧另一项瞩目的工作是C-Eval，大模型中文能力上标志性的评测基准。

OpenAI上九天揽月也下五洋捉鳖，一边琢磨着下一代GPT，一边用GPT Store吃用户，Meta对Llama 2可商用的政策（7亿用户以下），又再次打击了国内在Llama 2出现之前就训出来了的大模型们。

高悬的达摩克利斯之剑不止一把，吊足观众胃口，也急迫地为国内大模型玩家设定了生命线。

“外面看气派吧，其实里面内饰挺简陋的。”

高梵说的是上海 AI Lab那十多幢楼，听上去也是目前国内大模型群体性的反差感。

这句话的背景是，在一些知名的大模型评测基准的榜单上，GPT-3.5、Claude-2甚至GPT-4能够落到10名开外，一些名不见经传的名字则在榜单前列轮流坐庄。

“刷榜是我们的一个陋习。”去年11月，元象XVERSE科技创始人姚星直言不讳。

这也是这次我和高梵见面的目的，想向一位靠近C-Eval又设计过评测基准的人请教一下这件事。

首先，这玩意儿到底是怎么测的？

“C-Eval早被刷烂了”

“我的意思是，你们做评测基准，还自己花这个钱来测吗？”

评测分两种，自己测或是提交，“C-Eval嘛，大多数是后者”，高梵说。

包括爱丁堡大学在内，英国一所高校在GPU上的存量大概在200-400张的区间，美国多一些，沙特更多，中国则更少。如果只考虑不做工程优化的那种无脑跑，一张卡一个任务集可能要跑一天，这个计算成本和时间成本都是很高的。所有通常，这些卡和资金有限的学术性评测基准团队，只能是靠着大模型公司拿着论文自己跑测试，然后把评分汇总给评测基准团队。

自己提交，那跑榜单这件事的变量就多了。

“符尧很敏锐，这是件用爱发电的事，但结果是C-Eval被刷惨了”，高梵说。

符尧是高梵在爱丁堡大学的学长。C-Eval开始构建的时候他还不认识付尧，但高梵知道C-Eval做的很早，早到甚至像是Chatgpt出现之前就开始的项目，所以当今年年初大量意在做中文能力评测的评测基准都仍然在做着英文数据集简单粗暴的的翻译工作时，C-Eval第一个从零开始构建了自己的数据集，用大量时间和人工标注把数据集堆上去，然后一下子成了中文大模型中标志性的评测基准。

C-Eval对自己的声明  图源：C-Eval

C-Eval很快成为这一波大模型热潮里最被广泛认可的榜单之一。然后很快，它也是最先被刷烂的榜单。

6月份的C-Eval榜单上，ChatGLM 2超过GPT-4排名第一，第三名是商汤的日日新。

7月，APUS天燕大模型和容联云赤兔大模型紧随排名第二的GPT-4冲进前六。一个月后，C-Eval榜单的榜眼位置换成了一家成立仅两个月的初创公司共生矩阵。又过了一个月，这份榜单上力压GPT-4的国产大模型突然增加到8个。

从10月开始，GPT-4在C-Eval上的平均分掉出前十。

几乎每一个国产大模型的推出，都会从一份亮眼的C-Eval分数开始。几个月前见到智源研究院的林咏华时，她直言几个权威的榜已经被刷的太严重，失去了参考价值，其中提到C-Eval。

百川智能在8月抛弃了C-Eval，因为那时候如果不作弊，百川模型的分数就只有50多分。一个GPT-4只能拿到70分的评测基准，50分对于一家创业不到半年的初创公司来说已经可喜，但这样的“低分”连前10都进不了，在国内模型排名里会排在很后面。“但我们又不愿意作弊”，一位百川智能的内部人士说。

这种“作弊”高分可以用刷题实现，并且大量进入C-Eval榜单前列的大模型都是这么做的。“这几乎已经是公开的秘密”，高梵说。