聊聊英伟达再次推出的专供中国版GPU芯片

原文来源：东不压桥研究院

图片来源：由无界 AI生成

英伟达又推出了专供中国市场的阉割版GPU芯片p0、L20、L2，分别基于英伟达的Hopper和Ada架构，据说大约今年12月至明年1月量产。

和A800、H800一样，英伟达这次还是对标美国1017出口管制的红线，通过限制某些参数达到了不违反美国新的芯片出口管制的效果。

美国商务部1017更新的出口管制规则，以“总处理性能”（total processing performance）和“性能密度”（performance density）两个指标来界定受管制的芯片，取代了原来以峰值算力（浮点算力）和带宽（双向传输速率）为标准的界定方法，并且不再限制带宽。这一改变让英伟达在去年1007规则后专供中国的A800和H800落入了管制范围，并且立即生效，英伟达还没出手的这些芯片马上就不能对中国提供了。

L20、L2和先进AI大模型训练基本没有什么关系，主要在推理和边缘计算发挥作用。p0则是直接和大模型训练相关的，技术的细节不多展开，SemiAnalysis已经有很具体的分析，简单说就是：p0高缓存、高带宽、低算力。英伟达通过限制p0GPU芯片的峰值算力，确保了它不超过1017规则中的“总处理性能”和“性能密度”，从而使它不属于管制芯片；但同时又提升了p0的带宽（因为1017新规不再限制带宽了）和存储容量（1017也没有对缓存提出要求）。

大模型训练的速度和效率取决于很多因素，如GPU的算力、带宽、内存（显存）容量和存储I/O性能、数据加载和预处理、模型架构、软件架构、算法、网络延迟、散热等。其中算力和带宽尤其重要。GPU算力高，就可以显著加速这并行计算操作，在合理的时间内处理更大量的数据集，加速模型的迭代和优化，有更多的计算资源来处理更多参数和层级、实现更复杂的模型训练。带宽足够高，可以确保数据快速传输到GPU进行并行处理，确保数据传输速度能跟得上GPU处理速度，充分利用GPU的处理能力，缩短模型训练时间，也能让模型更新实现更快速的同步。

A100的带宽是600G/s，A800和H800 都是400G/s，p0用英伟达独有的NVLink 互连技术把带宽提到了900G/s（和p00持平）。因为英伟达保留了完整的NVLink和PCIe带宽功能，意味着把数万张卡联网在一起做并行计算没有任何问题。p0虽然单卡总处理性能不如p00，但因为带宽足够，可以把多张卡堆叠、多个AI服务器集群在一起，弥补单卡算力不足的问题。同时，p0的存储容量比p00提升了16G。足够的存储存容量对于存储大模型的参数和中间数据也非常重要，内存不足可能就需要分批处理数据或模型，从而降低大模型训练的效率。

英伟达推出p0的时机也很耐人寻味。华为的昇腾910B的性能与A100单卡的总体性能很接近，因此1017新规后大家都觉得华为可能会因此成为国内唯一的GPU提供商，这几天也传出百度和360都大批量采购昇腾910B。但昇腾910B相比英伟达GPU芯片的缺陷是互联带宽少、软件生态不够成熟。这次英伟达推出p0恰恰是基于自己的CUDA软件生态系统，在互联带宽上大幅提升，对标华为的意思比较明显。这样一来，国内的大模型厂商可能就不会只考虑华为的昇腾系列，甚至很多公司可能在权衡之后选择买p0，对华为显然是不利的。但对英伟达来说，再次绕过了美国的出口管制，又可以多卖芯片（很多中国AI公司为了达到A100的性能可能会多买p0，通过堆叠集群来实现）。

美国和中国政府怎么看这个事？可能都有点纠结。美国商务部这两年来应该对英伟达很不爽，因为它显然一次次违背美国芯片出口管制的精神，帮助中国企业规避了美国的出口管制。从商务部这次在1017新规出台后对英伟达“特殊照顾”、单独通知新规对其立即生效，似乎也能感受到一二。雷蒙多在多个场合说过，尽管芯片管制会让美国企业受到一些损失，但为了国家安全是值得的，美国企业不能只图赚钱，不承担维护国家安全的责任。这些话感觉就像是专门给Jenson Huang说的。

但对英伟达这种做法，美国商务部可能更多是无奈。目前商务部只能用出口管制这个工具，但监管和法律永远落后于技术、落后于商业和技术创新，这次英伟达很快又搞出个新的阉割版，就很能说明问题。这种情况下，商务部下一步怎么办？等明年修改出口管制规则再把带宽重新放进去？英伟达还会不会再找出规避的办法呢？这种猫和老鼠的游戏，应该让雷蒙多很frustrated和disturbing，但一时之间似乎也没什么办法，毕竟英伟达是在美国法律框架内行事的。出口管制的弱点，在芯片出口管制中可谓是充分暴露。所以雷蒙多就芯片法案执行情况在国会听证时说，商务部“需要新的工具”。不管是对付华为还是对付英伟达，她是真需要比出口管制更趁手的工具。