一篇论文奠定现代人工智能：8位谷歌员工的幕后故事

来源：AI范儿

8位谷歌员工偶然相遇，共同撰写了开创性的“变换器”论文，这一技术突破彻底改变了人工智能领域，尤其在理解和生成类似人类的文本方面。

2017年春，一篇名为《Attention Is All You Need》的科学论文诞生，其上署名的八位作者均来自谷歌，尽管当时已有一名成员离职。资深作者Noam Shazeer在看到初稿时，意外地发现自己的名字排在首位，这似乎意味着他的贡献最为重要。对此，他表示：“我并没有刻意考虑过这个问题。”

在学术界，如何排列作者名字一直是个微妙的平衡问题——谁的名字放在最前面，谁的又放在最后。尤其是在这种每个人都在一个真正的团队合作中留下了独特印记的情况下。在匆忙完成论文的过程中，研究团队最终决定打破常规，不再对贡献者进行排名。他们在每个名字旁加上了星号和脚注：“平等贡献者”，并注明“排名顺序是随机的”。这篇论文随后被提交到了一个享有盛誉的人工智能会议，并在那里引发了一场革命。

姓名：NOAM SHAZEER / 职业：角色AI的联合创始人兼首席执行官

如今，随着“Attention”论文即将迎来七周年，它已经获得了传奇般的地位。这篇论文的作者们从一个蓬勃发展的人工智能技术——神经网络——出发，将其提升到了一个新的高度：他们创造出了一个数字系统，其强大到仿佛拥有外星智能。这种被称为“变换器”（transformers）的架构，成为了所有令人惊叹的AI产品背后的神秘力量，包括ChatGPT以及图形生成器Dall-E和Midjourney等。

Shazeer开玩笑说，如果他早知道这篇论文会变得如此著名，他“可能会更加担心作者名单的排序”。如今，所有八位作者都已经成为了微型名人。Llion Jones（随机排在第五位）说：“有人因为我曾经参与过一篇论文而向我索要自拍。”

姓名：LLION JONES/职业：SAKANA AI的联合创始人

“没有变换器，我认为我们今天不会在这里，”世界著名AI科学家Geoffrey Hinton说，尽管他并非论文的作者。他指的是我们所处的这个变革时代，OpenAI等公司正在构建的系统在某些方面甚至超越了人类的产出。

这八位作者后来都离开了谷歌。现在，他们和数百万人一样，都在以某种方式使用他们2017年创造的技术。我采访了这八位“变换器”作者，试图拼凑出这一突破性成果的全貌——一群人类智慧的集合，创造出了一台可能最终自我终结的机器。

变换器的故事始于名单上的第四个名字：Jakob Uszkoreit。他的父亲Hans Uszkoreit是一位知名的计算语言学家。Hans在1960年代末因抗议苏联入侵捷克斯洛伐克而在东德被监禁了15个月。出狱后，他逃到西德，并在柏林学习计算机和语言学。后来他来到美国，在加利福尼亚州门洛帕克的SRI研究所工作，那时Jakob出生了。最终，他们一家回到了德国，Jakob在那里上了大学。

姓名：JAKOB USZKOREIT / 职业：INCEPTIVE的联合创始人兼首席执行官

尽管他原本并未打算专注于语言，但在开始研究生学习时，他在谷歌的山景城办公室实习，并加入了公司的翻译团队。他放弃了博士计划，2012年决定加入谷歌一个团队，该团队致力于开发一个能够在搜索页面上直接回答用户问题的系统，而无需将用户重定向到其他网站。当时，苹果刚刚发布了Siri，一个承诺能在随意对话中提供一次性答案的虚拟助手，谷歌高层认为Siri可能会威胁到他们的搜索流量。他们开始更加关注Uszkoreit的新团队。

“这是一场虚假的恐慌，”Uszkoreit说。Siri并没有真正威胁到谷歌。但他欢迎有机会深入研究计算机与人类对话的系统。当时，循环神经网络——一度是学术界的边缘领域——突然开始超越其他AI工程方法。这些网络由多层构成，信息在这些层中反复传递，以识别最佳响应。

神经网络在图像识别等领域取得了巨大成功，AI复兴运动突然兴起。谷歌正在疯狂地调整其劳动力结构，以采用这些技术。公司希望建立能够产生类似人类响应的系统——比如在电子邮件中自动完成句子，或创建相对简单的客户服务聊天机器人。

然而，这个领域遇到了限制。循环神经网络难以处理较长的文本块。例如，理解句子“Joe is a baseball player, and after a good breakfast he went to the park and got two hits”中的“two hits”，语言模型需要记住关于棒球的信息。用人类的话说，它必须保持关注。