英伟达暗讽英伟达运气好，GPU如何押中AI？

原文来源：电厂

作者 | 肖余林

图片来源：由无界 AI‌生成

在12月推出AI新品之际，英特尔CEO基辛格把枪口对准了英伟达。基辛格先是公开强调英伟达CUDA软件的护城河没有外界想象的那么深，接着在麻省理工的一场论坛上名褒暗贬，称英伟达在AI GPU领域极其幸运（extraordinarily lucky）。 

基辛格把英伟达的成功归结为运气，并且认为好运曾站在英特尔那边。 

他强调，英伟达最初拿GPU做通用运算完全没有考虑过AI。他不无可惜地提到，如果他当初没有被踢出英特尔，他看好的Larrabee项目就不会被终止，那么改变AI形态的可能是Larrabee，而不是CUDA。 

Larrabee是英特尔早期开发的通用图形处理器（GPGPU），英伟达同期也在做类似项目，并在此基础上推出了CUDA平台。 

基辛格的判断并非没有理由，他在13年前被迫从英特尔离开的时候，英伟达推出CUDA没多久。CUDA 1.0的早期文档中描述了通用计算的前景，涉及物理模拟、计算金融和计算生物学，确实没有AI的身影。更重要的是，帮助英伟达CUDA做深度神经网络库的高管就来自基辛格所说的Larrabee项目。 

这位高管是英伟达现在的深度学习应用研究副总裁Bryan Catanzaro。但在基辛格发难之际，他在社交媒体X上表达了相反的观点。他认为，“英伟达今天的地位并非来自运气，而是眼光和执行力”。 

回看商业领域的企业浮沉，运气常常是被忽略的因素。99岁的芒格在生命的最后一段时间做出如此总结：“那些脱颖而出的人和公司，通常具备智慧、勤劳和大量的运气。” 

翻看GPU和AI技术互动的历史，不难发现英伟达不仅有好运气，甚至好运气的周期足够长。问题是，支撑这种好运气的到底是不是“眼光和执行力”？ 

“泼天富贵”降临的时刻

今天英伟达一卡难求H100 GPU有两个主要买家，其中包括微软。根据Omdia Research的报告和瑞杰金融的估价，微软买了15万块H100，总花费在数十亿美元。考虑到H100供不应求的现状，可以说这钱是微软“求着”让英伟达收下的。 

然而时间回到2011年，如果当时微软研发专家想采购一块1万美元的GPU，要遭到不少内部压力，即便这些GPU会被用在极具商业潜力的项目上。不仅是微软，谷歌也一样，10年前认识到GPU能力的人和公司屈指可数。 

2013年，谷歌人工智能主管了解到，公司挖角的深度学习研究员从不使用公司强大的数据中心，而是私自架一台GPU藏在工位下面使用。了解情况后，他申请1.3亿美元预算采购4万块GPU。科技记者Cade Metz在《深度学习革命》一书中记录，这笔预算遭到了管理层强烈反对，最后创始人Larry Page拍板才被通过。 

更夸张的是，英伟达也没有完全认识到GPU的潜力，直到谷歌1.3亿美元的订单砸下来，才在深度学习领域有实质的业务布局。英伟达2014年的技术大会上首次出现了深度学习、机器视觉这样的主题。 

2013年被认为是英伟达被命运选中的时刻，也是长达10年的“泼天富贵”的起点。然而英伟达不想把这天降的命运归结为运气，它坚持认为，2000年代中期就意识到了GPU在神经网络应用的潜力。 

商业巨头合力改写历史

在今年的一篇博客文章中，英伟达把GPU应用于深度学习的成功案例追溯到2008年的一篇论文，论文来自于斯坦福大学教授吴恩达 (Andrew Ng)。吴恩达的小组得出结论，当时GPU在深度学习工作中的计算能力远远超过了多核CPU。他们使用两张GTX 280 GPU，训练具有1亿个参数的神经网络时，速度比使用CPU提高了70倍，训练时间从数周缩短到一天左右。 

英伟达的编程软件CUDA在2007年推出，由于不是为了深度学习而生，研究人员需要借助CUDA把原本基于CPU的代码重写成GPU代码。吴恩达的这篇论文中有相当篇幅介绍CUDA的使用思路，因此在后来进入了英伟达的视野。 

2008年，Bryan Catanzaro从英特尔来到英伟达，他认为自己是英伟达第一个，也是当时唯一一个AI研究人员。Catanzaro在接受媒体采访时表示，他从纽约大学人工智能实验室得知，有一群机器学习研究人员在疯狂地为GPU核心编写软件。他受到启发，在当时的工作成果的基础上，催生了CUDA深度神经网络库（cuDNN）。 

如果把CUDA比作AI的工作台，cuDNN就是AI专用的螺丝刀，cuDNN于2014年发布，是英伟达首个针对深度学习的软件产品。