科技巨头持续血拼：微软豪掷数亿造ChatGPT超算，谷歌加急测试Big Bard

来源：机器之心

图片来源：由无界版图AI工具生成

近几个月，ChatGPT 爆火出圈，风头无两。人们大多把关注重点放在了 ChatGPT 强大的生成功能和应用场景上，却很少关心模型的应用成本。

虽然 ChatGPT API 开放之后，使用成本降低了九成，但对于 OpenAI 和集成 ChatGPT 的科技公司来说，情况却大不相同。

众所周知，在谷歌搜索的时代，搜索引擎的工作原理是建立巨大的网络索引，在用户进行搜索时，这些索引条目会被扫描、排名和分类，随后结果显示出最相关的条目。谷歌的搜索结果页面实际上会告诉用户搜索所需要的时间（通常不到一秒）。

而 ChatGPT 式的搜索引擎会在每次搜索时启动一个模仿人脑的巨大神经网络，生成一堆文本，可能还会查询大型搜索索引以获取事实信息。这意味着用户与其交互的时间可能远远超过几分之一秒，并且这些额外的处理需要花费更多的成本。

据路透社报道，Alphabet（谷歌的母公司）的董事长 John Hennessy 及几位分析师交谈之后写道：「与 AI 大型语言模型交流询问的成本可能是标准关键字搜索的 10 倍以上」。对于致力于推行 ChatGPT 式搜索引擎的谷歌、微软来说，这可能意味着「数十亿美元的额外成本」。

Alphabet 董事长 John Hennessy。

虽然 ChatGPT 这个研发热点肯定是要跟的，但付出的成本是各家公司能够承担的吗？

微软：上万块 A100，为 OpenAI 造超算

微软的答案是肯定的，而且它还要进一步增加相关的研发投入。

彭博社报道，微软花费了数亿美元为 OpenAI 建造了一台巨大的超级计算机，使用了「成千上万块 GPU」以推动 OpenAI 的 ChatGPT 聊天机器人。

据彭博社获得的回复，微软人工智能和云计算副总裁 Scott Guthrie 说，公司在该项目上花费了数亿美元的资金。虽然这对微软来说可能不值一提，毕竟它最近延长了对 OpenAI 的多年、数十亿美元的投资，但这无疑表明，微软愿意在人工智能领域投入更多资金。

在本周一的博客中，微软介绍了它是如何创建 OpenAI 使用的强大的 Azure 人工智能基础设施，以及其系统如何变得更加强大。

比如微软推出了新的虚拟机 —— 使用英伟达 p00 和 A100 Tensor Core GPU 以及 Quantum-2 InfiniBand 网络，这是两家公司去年就预告过的项目。这将允许 OpenAI 和其他依赖 Azure 的公司训练更大、更复杂的 AI 模型。

「大约五年前，OpenAI 向微软提出了一个大胆的想法，即它可以构建将永远改变人们与计算机交互方式的人工智能系统。」John Roach 写道。

当时，没有人知道这将意味着什么。现在，我们理解了这种设想 ——ChatGPT，并体验到了它的魔力：AI 系统可以创建人们用简单语言描述的任何图片，聊天机器人可以根据少量单词编写说唱歌词、起草电子邮件和规划整个菜单。

像这样的技术，在当时看来未必不可能。只是为了构建它，OpenAI 需要真正大规模的计算能力。

2019 年，微软公司宣布向 OpenAI 投资 10 亿美元，同意为这家 AI 研究初创公司建造一台大规模的前沿超级计算机。当时唯一的问题是：微软没有 OpenAI 所需要的东西，也不完全确定能在自己的 Azure 云服务中建造这么大的东西而不崩溃。现在，这个承诺终于兑现了。

微软表示，为了建立给 OpenAI 项目提供动力的超级计算机，它在 Azure 云计算平台上「将成千上万的英伟达 GPU 连接在一起」。反过来，这使得 OpenAI 能够训练出越来越强大的模型，并「释放出 AI 能力」，比如 ChatGPT 和必应工具。

这些突破的关键是学习如何构建、操作和维护数万个在高吞吐量、低延迟 InfiniBand 网络上相互连接的共置 GPU。这个规模甚至比 GPU 和网络设备供应商测试过的还要大。这是一片未知的领域，没有人确切知道硬件是否可以在不损坏的情况下被推到那么远。为了训练一个大型语言模型，计算工作量被分配到一个集群中的数千个 GPU 上。在计算的某些阶段（称为 allreduce），GPU 会交换有关它们已完成工作的信息。InfiniBand 网络加速了这一阶段，该阶段必须在 GPU 开始下一个计算块之前完成。

「我们看到的是，我们将需要建立专注于实现大型训练工作负载的特殊用途集群，而 OpenAI 是这一点的早期证明之一，」微软 Azure AI 企业副总裁 Eric Boyd 在一份声明中说。「我们与他们紧密合作，了解他们在建立训练环境时寻找的、需要的关键是什么。」

谷歌：加紧内测 Big Bard