Gemini背后，谷歌真正可怕之处并不在模型本身

原文来源：硅星人

图片来源：由无界 AI生成

谷歌的大语言模型Gemini 1.0，一经问世就技惊四座。首先在性能方面，无论是从对文本、图像、音频的理解，还是对57种领域文本以及数学问题的推理，几乎都超过了自然语言界的霸主GPT-4。而且在谷歌Gemini的官网上还有这一段话，内容是“Gemini是第一个在MMLU(海量多任务语言理解)上超过人类专家的模型”。

为什么谷歌Gemini这么厉害呢？其实最核心的原因来自于训练谷歌Gemini所使用的两种服务器端推理芯片TPU v4和TPU v5e。虽然从结果来看，TPU跟GPU都是用来训练和推理，但是两个人在“解题思路”上，相距甚远。

谷歌在TPU v4上采用了一种名为光学回路开关（optical circuit switch，以下简称OCS）。顾名思义，就是服务器组用光来传递信息。上方是注入模块，使用850纳米激光二极管，发射850纳米的显示光。中间是用来拆分或者合并光的二向色分光器；下方是用来反射的2D MEMS阵列；左右两端是用来投射O波段信号光的2D透镜阵列和光纤准直器阵列。

简易版OCS原理

传统服务器组用的是铜线导电，通过规定时间内铜线上电子传输的个数来传递信息。但是任何介质，哪怕是不计成本的采用金或者银，依然有电阻的存在，必然会减慢电子在这之间传递的速度。没有任何的光电转换环节，全都是由光来运送信息，没有中间商赚差价。

我们不妨对比一下市面上最常见，也是Open AI目前的解决方案，英伟达H100所使用的Infiniband技术。这个技术使用交换结构拓扑。所有传输都在通道适配器处开始或结束。每个处理器都包含一个主机通道适配器(HCA )，每个外设都有一个目标通道适配器(TCA)。

说得直白一点，H100就和过去的驿站差不多。驿站会代替权力中心接收消息，这样管理者就可以直接去驿站来查看自己未来的任务。但是TPU v4则是直接烧狼烟，不仅快，而且跳过中间所有的消息转达设施，一步到位。根据谷歌的说法，OCS系统和底层光学组件成本价格不到TPU v4系统成本的5%，其功耗不到整个系统的5%，又便宜又好用。

说到这，不得不提一个谷歌创造的概念，叫做MFU。全称为模型FLOPs利用率（Model FLOPs Utilization），这是一个不同于其他衡量计算利用率的方法，不包含任何反向传递期间的作业，这意味着MFU衡量的效率直接转化为端到端的训练速度。那也就是说，MFU最大上限一定是100%，同时数字越高代表训练速度越快。

谷歌想通过MFU这个概念，来评估TPU v4的负载能力以及运行效率，以此得出到底可以给谷歌Gemini上多少强度。对一系列纯解码器变压器语言模型(下图以GPT为例)配置进行了深入的基准测试，这些配置的参数从数十亿到数万亿不等。测试规定，模型大小（参数单位十亿）是芯片数的二分之一。

TPU v4在不同场景下的MFU

在谷歌的基准测试活动中，TPU v4实现了44-56%的MFU。根据下图的对比可以明显看到，尤其是多个TPU v4串联的情况。而这也正是OCS的神奇之处，同时谷歌也希望借助OCS向世人们传达一个道理：“要相信光。”

不同芯片的MFU对比

既然TPU v4都这么厉害了，那TPU v5e作为迭代产品，效果只会更好。事实上谷歌之所以将这个模型命名为Gemini，也是因为这两个TPU。Gemini的本意是双子座，代表的是希腊神话中的天神宙斯与斯巴达王后勒达所生的双胞胎卡斯托耳和波鲁克斯。TPU v4和TPU v5e某种意义上也是双胞胎，因此得名Gemini。当然，另外有一种可能是开发者特别喜欢《圣斗士星矢》，里面黄金十二宫篇大BOSS就是双子座的撒加，绝招是银河星爆。不过我觉得后者的可能性低一点。

还有一点，服务器最大的成本来自运营和维护。但是在这种规模下，使用传统的定期对持久集群存储进行权重检查点操作的方法是不可能保持高吞吐量的，毕竟要周期地关闭重启某个机组。所以对于Gemini，谷歌使用模型状态的冗余内存副本，并且在任何计划外的硬件故障时，可以直接从完整的模型副本中快速恢复。与PaLM和PaLM-2比，尽管使用了大量的培训资源，但这大大加快了恢复时间。结果，最大规模的培训工作的总体产出从85%增加到97%。