49152 个GPU！Meta最新算力集群曝光，扎克伯格：算力，算力，还是 Meta 的算力

文章来源:硅星GenAI

文章作者:周一笑

相信你或多或少对GPT有一定的了解，但我赌你没听说过bGPT。bGPT的意思是byte GPT，即字节GPT。

图片来源：由无界AI生成

Meta 近日披露了两个新的 GPU 集群，将用于训练下一代生成式人工智能模型，包括即将推出的 Llama 3，以及 GenAI 和其他领域的人工智能研究与开发。新的集群在硬件、网络、存储、设计、性能和软件等方面进行了定制优化。

Meta 公布的两个 GPU 集群 GPU 总共拥有 49152 个GPU，每个集群都装配了H100 GPU，而 Meta 此前 AI 研究超级集群 (RSC) GPU 集群约有 16000 个 A100 GPU 。RSC 在 Llama 和 Llama 2 的开发以及计算机视觉、NLP、语音识别、图像生成、编程等人工智能模型的开发中发挥了重要作用。

PyTorch 创始人，Meta 工程师 Soumith Chintala 在 X 上分享了关于 Llama 3 的一些细节：使用了 RoCEv2 网络，基于T ectonic/Hammerspace 的 NFS/FUSE 网络存储，标准版本的 PyTorch，带有一些补丁的 NCCL：补丁和交换机优化使集群具有相当高的网络带宽实现，各种调试和队列监控工具，例如 NCCL 异步调试、内存行重新映射检测等。

Meta 表示将使用新的 GPU 集群来微调现有的人工智能系统，并训练更强大的新系统，包括 Llama 3。此外，Meta 还透露正在对 PyTorch 人工智能框架进行升级，为支持更大规模的 GPU 训练需求做准备。

在算力军备的路上越走越远

新的 GPU 集群是 Meta AGI 路线图的一部分，目标是到 2024 年底，基础设施建设将包括350,000 个 NVIDIA H100 GPU，计算能力相当于将近 600,000个 H100 GPU。作为对比，OpenAI 训练 GPT-4，用了大约 25000 个 A100 GPU。而训练 GPT-5 预估需要 30000 到 50000 A100。

要保持在 AI 领域的领先地位，意味着对基础设施的大量投资，对于 Meta 来说，军备还远未结束。根据市调机构 Omdia 发布的报告，Meta 在 2023 年买了超过 15 万块 NVIDIA GPU，与之相当的只有微软，而亚马逊、甲骨文、谷歌、腾讯等都只拿到了 5 万块左右。2024 年 Meta 预计将购买超过 35 万块英伟达 H100 GPU，H100 售价为 2.5 万至 3 万美元（不考虑溢价），如果 Meta 支付的是较低的价格区间，那么将支付给英伟达接近 90 亿美元。

在 Dot-com 泡沫时代，任何人都可以以相对较低的基础设施成本启动一个网站，个人开发者和初创企业能够借助普及的智能设备和移动网络，在不同成本的范围内推出产品和业务。而现在，似乎只有那些互联网巨头和明星创业公司才能构建 AI 模型。所有这些公司都从投资者那里拿钱，然后再把钱交给云计算公司和英伟达，这或许就是为什么英伟达的股价在如此短时间内超过 2 万亿美元的原因之一。

更多架构细节

关于这两个 GPU 集群的具体架构细节，虽然这两个集群的 GPU 数量相同，通过 400Gbps 端点相互连接，但采用了不同的架构设计。网络方面，其中一个集群采用了一个集群采用了具有融合以太网远程直接内存访问 (RDMA) (RoCE) 网络结构解决方案，另一个则使用了 Nvidia 的网络架构技术 Quantum2 InfiniBand。

采用 RoCE 的 GPU 集群是迄今为止使用商用以太网基础设施建立的最大的 H100 GPU 集群

这两个集群均采用 Meta 的开源 GPU 硬件平台 Grand Teton 构建，该平台专为支持大规模AI工作负载而设计。据称，Grand Teton 的主机到 GPU 带宽是前代 Zion-EX 平台的四倍，计算和数据网络带宽是两倍，功率需求也是两倍。

Meta 表示，这些集群整合了其最新的 Open Rack 电源和机架基础架构架构，旨在为数据中心设计提供更大的灵活性。根据工程师们的说法，Open Rack v3 允许电源架可安装在机架的任何位置，而不是固定在母线上，从而实现更灵活的配置。