昂贵的ChatGPT背后，国产GPU“掘金”路漫漫

来源：21世纪经济报道

作者：江月

图片来源：由无界版图AI工具生成

当人们惊叹于ChatGPT的聪明时，不要忽略它的昂贵。这款应用的走红，正把科技投资推向更高的山峰，资金和智力还要更集中地涌向GPU等硬件赛道。由于大模型持续迭代升级、应用加速延伸以及云服务器急需扩容，AI芯片的掘金人正在聚集。

2月9日，21世纪经济报道记者在采访中了解到，ChatGPT的爆火令AI芯片开发者意识到，性能竞争还将向进一步白热化发展，“昂贵”的烙印越打越深，大语言模型的单次迭代硬件成本在突破3000万元人民币水平后，还在向更高攀爬。在市场格局方面，狂热的市场可能会令海外垄断进一步加剧。

亦有国产GPU创业人士向记者表示，国产通用型GPU开发仍在继续，并希望借助此次产业链协同实现突破。

AI芯片加速研发

2022年11月30日上线的ChatGPT，于短短两个月内获得1亿用户，是芯片领域在2023年面临的第一个重要课题。记者从多家国产运算芯片开发商处了解到，芯片研发者正高度关注ChatGPT的市场吸引力，不少公司将其作为研究课题组织专门研究，以求及时把握相关商机。

“ChatGPT应该是基于GPT-3下一代模型，也就是市面上传闻的GPT-3.5推出的。”在一家知名国产GPU开发商担任产品经理的陆明向21世纪经济报道记者介绍，他近期致力于对ChatGPT的课题研究。

芯片研发商关注ChatGPT，既因为这可能会改变产品定义，也因为预期市场对AI芯片的采购会迎来增量。据介绍，ChatGPT的背后模型是GPT(Generative Pre-Training，生成式预训练模型)，GPT这个名字展现了这款模型偏向“生成文本和代码”的属性。陆明指出，GPT至今已经公开了三次迭代，其间，由于GPU芯片的飞速发展，三次迭代之间具有“时间短、性能增速快”的特点。

细数之下，第一代GPT-1诞生于2018年6月，训练参数量为1.2亿个，数据库规模为5GB；仅时隔半年之后，第二代GPT-2诞生于2019年2月，训练参数量为15亿个，数据库规模为40GB；第三代GPT-3诞生于2020年5月，训练参数量飞跃至1750亿个，数据库规模达到45TB。可以看到，第三代模型较第二代的训练参数增长超过100倍，数据库规模则增长超过1000倍。

近年来，从AI方向切入GPU开发，成为了不少中外创业者的选择。无论是在美国还是中国市场，创业型GPU开发商往往能成为资本的宠儿。不过，由于科技巨头自从去年第四季度开始财务表现下滑，硬件行业投资也随之降温。不过2023年伊始，ChatGPT又给行业带来了新的话题。

眼下，ChatGPT的爆火正呼唤更强性能GPU的面世，而这将促使资金加快流入行业。“下一代大模型的参数量和数据库规模，还将比上一代实现百倍、千倍的升级，这意味着如果底层的芯片性能止步不前，就会令训练时长长达几年，但显然业内需要在半年或一年内就推出下一代更强的模型。”陆明称。

巨头林立成本高昂

眼下，无论是大语言模型开发还是底层芯片供应，市场主流玩家仍然是国际巨头。为了在格局演变中争夺优势地位，巨头公司的“烧钱”游戏越来越旺。

21世纪经济报道记者从接近美国GPU龙头开发商英伟达的人士了解到，该公司正是当前全球主流大语言模型开发者的主要芯片供应商。

“英伟达正向全球主流的人工智能算法开发商提供芯片硬件，包括微软、谷歌、Meta等。产品迭代也在有序进行中，去年推出了最新的数据中心芯片，改善了架构。”上述人士称。

近期，科技巨头争相涌入ChatGPT的竞争中，硝烟四起，但在上述人士眼中，眼下人工智能研究市场上的各大巨头此前维持着“强合作”关系。以在外界眼中正在“打架”的谷歌和微软为例，两者事实上都基于谷歌的Transformer架构进行大模型开发。“不过在差异性的应用展开后，竞争可能会升级。”该人士评价称。

想要留在ChatGPT战场上，意味着更大规模的“烧钱”。据业内估算，大语言模型的单次训练硬件成本已经突破3000万元人民币，加上投入的人力、智力、训练时间成本，各大巨头需要准备百亿美元，直到真正的市场赢家胜出。

据Lambda Labs首席科学官Chuan Li介绍，拥有1750亿个参数的GPT-3因其巨大的每秒浮点计算量，单次训练成本达到460万美元。陆明也向记者证实，眼下最主流的英伟达A100芯片，单次训练的使用量应达到数百片，成本在3000万元人民币左右。此外，服务器扩容和硬件升级的成本也将占据相当大的比例，一方面，“自从2月7日开始，ChatGPT因访问量巨大，回复速度已经大大减慢”，另一方面，“维护GPU芯片的成本也非常高，芯片使用是有寿命的，损耗几次就要另作他用。”陆明称。