GPT总设计师：大型语言模型的未来

来源 | Stanford eCorner

编译：OneFlow‌

翻译 | 杨婷、宛子琳、贾川

图片来源：由无界 AI工具生成

回头来看，ChatGPT的横空出世验证了Ilya Sutskever此前预想的AI发展方向。

在OpenAI成立早期，强化学习大牛Pieter Abbeel曾与Ilya共事，在他看来，Ilya对AI的思考总是走在他人的前面，而为了验证自己的想法，他总是在恰当的时间更换自己的工作处境，并做出了领域内最具开创性的工作。

Ilya出生于俄罗斯，五岁随家人搬到以色列读书、生活，本科时转学至多伦多大学，攻读数学学士学位，并在此取得了计算机科学博士学位，师从深度学习“教父”Geoffrey Hinton。2012年，在Hinton的指导下，他与Alex krizhevsky提出了AlexNet网络，开启了新一轮深度学习革命。随后，Ilya加入Hinton的三人组公司DNN-research，并在2013年被Google收购，Ilya也随即入职。2015年，Ilya离开Google，与马斯克、Sam Altman、Greg Brockman等人创立了OpenAI，至今，他一直担任公司首席科学家。

从AlexNet开始，AlphaGo、GPT、CLIP、DALL-E和Codex这些业内开山之作都有他的身影。不过，将这位科学家推到世界舞台中央的是2022年11月发布的ChatGPT，而他正是GPT系列模型背后的奠基人和总设计师。

以ChatGPT为代表的大型语言模型在全世界范围内产生了巨大影响，被视为科技领域的革命性进展。

不过，面向未来，当前的大型语言模型发展不会是AI进步的全部。Ilya对此有一个比喻：如果把AI看作是身体，那还需要肌肉、骨骼和神经系统，你只拥有其中一个部件也不错，但那不会是真正的进展，你需要集齐所有的部件。

AI的发展还将继续。近期，在与斯坦福大学客座讲师Ravi Belani的线上对话中，Ilya分享了关于大型语言模型、深度学习以及OpenAI的未来发展的思考。

他预计，深度学习和大型语言模型会继续发展：这个领域的未来可能会有一小部分重大突破，加之许多细微改进，所有这些都将融入到一个庞大而复杂的工程体系。他还给出了一些有趣、可执行的思想实验。

（以下内容由OneFlow编译，转载请联系OneFlow获得授权。来源：https://www.youtube.com/watch?v=Wmo2vR7U9ck）

大型语言模型与人类智能

Ravi Belani：大型语言模型是生成式AI的关键技术，OpenAI目前正处于这一技术的最前沿，对这一技术有什么是你未曾预料到的？

Ilya Sutskever：大型语言模型的工作原理简单且迷人。众所周知，人脑由大量神经元组成，是世界上智能程度最高的东西。几十年来，神经科学家们一直在研究神经元，试图弄清它的工作原理，虽然生物神经元的工作之谜仍待揭开，但在上世纪四十年代早期，通过仔细观察，深度学习研究人员们做了一个大胆设想：人工神经网络中的人工神经元其实和生物神经元有点相似。我们可以在这一设想的基础上进行研究。

相比生物神经元，人工神经元要简单得多，并且我们可以对其进行数学研究。在这一领域被命名为深度学习之前，早期，深度学习先驱们取得了一个非常重要的突破——反向传播算法。这个算法是关于人工神经网络如何学习的数学方程，提供了一种在计算机中实现这个神经网络并编写代码的方法，并告诉我们神经网络应该如何根据经验来调整连接。

对学习过程以及学习过程运行条件的了解关系到我们所能取得的进一步进展。虽然我们用的是计算机去操作学习过程，但这却更像是实验科学或生物实验。大多数深度学习进展都可以归结为：在大型计算机中建构神经网络，然后用数据对其进行训练，让这些神经网络完成训练数据要求它们完成的任务。

大型语言模型的理念是：如果有一个大型神经网络，我们可以对其进行训练，让它根据前面的文本内容预测下一个单词。再看最初的猜想：也许生物神经元和人工神经元极为类似，没有太大区别。那么，如果有一个可以准确预测下一个单词的大型神经网络，它的运转方式也许类似于人们谈话时生物神经元的运转方式。如果我们和这样的神经网络对话，因为它能够准确预测下一个单词，所以可以在理解对话的基础上，准确地缩小生成对话的可能性范围。

精确猜测下一个单词需要进行预测，这也是理解的方式。我们很难清楚定义神经网络的“理解“，但我们可以轻易测量和优化网络对下一个单词的预测误差。