和H100相比，英伟达的H20、L20 和 L2 芯片性能如何？

原文来源：硬 AI

图片来源：由无界 AI生成

这两天，英伟达“钻空子”突破美国AI限制，推出中国市场“特供型号”，准备继续向中国公司出售高性能GPU的传闻闹得沸沸扬扬。

据媒体最新报道，英伟达即将推出至少三款新的AI芯片，包括 p0 SXM、PCIe L20 和 PCIe L2，以替代此前被美国限制出口的p00。这三款芯片均基于Hopper GPU 架构，最高理论性能可达296TFLOP（每秒浮点运算次数，也叫每秒峰值速度）。

那么，和p00相比，英伟达p0、L20、L2三款“特供型号”芯片的性能如何呢？

理论上，p00比p0的速度快了6.68倍。据分析师Dylan Petal最新发布的一篇博文，即使p0的实际利用率能达到90%，其在实际多卡互联环境中的性能仍只能接近p00的50%。

也有媒体称，p0的综合算力仅相当于p00的20%，而且由于增加了HBM显存和NVLink互联模块，算力成本会显著提高。

不过，p0 的优点也很明显，在大语言模型（LLM）推理方面比p00快了20%以上。理由是p0在某些方面与明年要发布的下一代超级AI芯片p00相似。

英伟达已经做出这三款芯片的样品，p0 和 L20预计将于今年 12 月推出，而 L2将于明年 1 月推出。产品采样将于发布前一个月开始。

01

   「p0 Vs. p00」

先来看p00，拥有80GB HBM3内存，内存带宽为3.4Tb/s，理论性能为1979 TFLOP，性能密度（TFLOPs/Die size ）高达19.4，是英伟达当前产品线中最强大的GPU。

p0，拥有96GB HBM3内存，内存带宽高达4.0 Tb/s，均高于p00，但计算能力仅为296 TFLOP，性能密度为2.9，远不如p00。

理论上p00 相比p0 的速度快了6.68倍。但值得注意的是，这个比较是基于FP16 Tensor Core的浮点计算能力(FP16 Tensor Core FLOPs)，且启用了稀疏计算（大大减少运算量，因此速度会有显著提升），因此并不能全面反映其所有的计算能力。

另外，该GPU的热设计功耗为400W，低于p00的700W，并且在HGX解决方案(英伟达的GPU服务器方案)中可以进行8路GPU的配置，它还保留了900 GB/s的NVLink高速互联功能，同时还提供了7路MIG(Multi-Instance GPU，多实例GPU)的功能。

p00 SXM TF16（Sparsity）FLOPS = 1979 

p0 SXM TF16（Sparsity）FLOPS = 296

根据Peta的LLM性能对比模型表明，p0在moderate batch size下峰值token/秒，比p00高出20%，在low batch size下的token to token延迟比p00还要低25%。这是由于将推理所需的芯片数量从2个减少到1个，如果再使用8位量化，LLAMA 70B模型可以在单个p0上有效运行，而不是需要2个p00。

值得一提的是，p0的计算能力虽然只有296个TFLOP，远不及p00的1979个，但如果p0的实际利用率MFU（目前p00的MFU仅为38.1%），这意味着p0实际能跑出270 TFLOPS，那么p0在实际多卡互联环境中的性能接近p00的50%。

从传统计算的角度来看，p0相比p00有所降级，但在LLM推理这一方面，p0实际上会比p00快了20%以上，理由是p0在某些方面与明年要发布的p00相似。注意，p00是p00的后继产品，复杂AI和HPC工作负载的超级芯片。

02

   「L20和L2配置更精简」

与此同时，L20配备48 GB 内存和计算性能为239个TFLOP，而 L2 配置为 24 GB 内存和计算性能193个TFLOP。

L20基于L40，L2基于L4，但这两款芯片在LLM推理和训练中并不常用。

L20和L2均采用 PCIe 外形规格，采用了适合工作站和服务器的PCIe规格，相比Hopper H800和A800这些规格更高的型号，配置也更加精简。

L40 TF16 (Sparsity) FLOPs = 362 

L20 TF16 (Sparsity) FLOPs = 239 

L4 TF16 (Sparsity) FLOPs = 242 

L2 TF16 (Sparsity) FLOPs = 193