大模型前传：一场拍卖会与巨头间的人才战

原文来源：电厂

作者 | 肖余林，编辑 | 高宇雷

图片来源：由无界 AI生成

2012年12月，AI领域的一场顶级会议NIPS在美国内华达州太浩湖举办，会议酒店里的一场秘密拍卖拍出了4400万美元的高价。拍卖的是一家在会议前紧急成立的公司，公司成员只有3人，没有发布任何产品。参与拍卖的有谷歌、微软、DeepMind以及百度。

这是一场既豪横又简陋的拍卖，竞拍方通过Gmail邮件远程出价，每一个小时出价一次，每次加价不少于100万美元。60多岁的主办方成员因患有颈椎疾病无法久坐，他在酒店的桌子上倒扣一个垃圾桶，把电脑放在垃圾桶上遥控科技巨头出价。

竞拍价一路攀升，2000万美元以后，场内只剩百度和谷歌，两家公司都势在必得。出价4400万美元后，主办方意外暂停了拍卖，时间被拖到第二天。第二天拍卖开始前，主办方告诉百度，他们更希望加入谷歌。

这个故事被科技记者Cade Metz放在《深度学习革命》一书开头，用来说明科技巨头在人工智能领域对人才的激烈争夺。被拍卖的这家公司是DNNResearch，三名员工是被称为“深度学习之父”的Geoffrey Hinton、AlexNet卷积神经网络创始人Alex Krizhevsky和现任OpenAI首席科学家IIya Sutskever。

Geoffrey Hinton（右）和他的两名研究生Alex Krizhevsky和Ilya Sutskever（左）（图源：多伦多大学）

这场拍卖之前，“人工智能”还只是科幻小说和电影里的事物，“深度学习”的概念就连前沿的科技巨头内部都少有人知。这场拍卖之后，一切开始发生变化。拍卖3年后，AlphaGo横空出世。5年后，还是同一场NIPS会议中，谷歌8位研究员带着Transformer模型架构技惊四座。10年后，美国几乎所有的顶尖AI实验室里都有来自谷歌的身影。

Google Brain的第一个成功和失败

数学公式组织着从微观粒子世界到宏观宇宙的广阔图景，同时也是人们构建现代计算机和人工智能算法的工具——现代计算机底层逻辑运算的原理是形成于19世纪中期由George Boole发明的布尔计算。20世纪40年代，人们开始尝试把生物神经元的功能抽象化为数学模型，50年代末诞生了第一个Neural Network神经网络算法（NN算法）。

Geoffrey Hinton是George Boole的玄孙，在70年代进入NN算法领域，并成为推动NN算法发展的主要人物之一。到21世纪初，GPU的使用和分布式计算大大提升了算法运行的效率，NN算法成为热门领域。Hinton在2006年提出深度信念网络的概念，让训练深度神经网络成为了可能，“深度学习”成为神经网络算法的代名词。

谷歌在当时有一个神秘实验室Google X，专门研究智能驾驶、增强现实等前沿尖端项目，这些项目往往都与人工神经网络有关。2011年，斯坦福大学人工智能教授吴恩达（Andrew Ng）加入Google X，希望把自己的神经网络研究推广开来。

然而即便在谷歌，当时也少有人认识到神经网络可以带来的改变，多次碰壁的吴恩达遇到了Jeff Dean，双方一拍即合，很快把一些研究转化出成果，这次的合作项目最终成为独立的部门Google Brain。

2012年夏天，《纽约时报》详细报道了吴恩达和Jeff Dean合作的“小猫论文”，他们用16000台计算机组成了一个有10亿连接的大型神经网络系统。系统从来自YouTube的1000万张图片中学会了“猫”的概念，并找出了其中含有猫的图片。这让谷歌的科学家大为震惊并深受鼓舞。

不过，吴恩达两人的方法并不是当时最高效的。在当年秋天的ImageNet图像识别大赛中，Hinton领导的三人组使用AlexNet深度卷积神经网络夺得第一，他们的成绩比第二名高出41%。这是ImageNet赛事的高光时刻，也是科技行业的“决定性瞬间”之一。《深度学习革命》一书的作者Cade Metz认为，AlexNet是深度学习的转折点，也是全球科技行业的转折点，推动了后来的人工智能热潮。

这次比赛也直接催生了文章开头提到的拍卖会，Hinton团队因此加入到Google Brain。

在这之后，学术投资成为谷歌具有战略高度的投资方向。虽然深度学习在当时是一个极小的领域，但谷歌创始人Larry Page认为它将会重塑行业，要求寻找其中的人才。在收下Hinton的同时，谷歌开始着手下一个目标。

骄傲的DeepMind和谷歌的豪赌