OpenAI首席科学家：AI幻觉是个大问题，但很有可能被「治愈」

作者 | Craig S. Smith

来源丨机器之能

编译 |ChatGPT-4 、吴昕

当我们飞速迈向人工智能的未来时，很多评论家都在大声质疑我们是否发展得太快？科技巨头、研究者和投资者都似乎在疯狂开发最先进的人工智能。很多人担心他们是否考虑过 AI 带来的风险呢？

这个问题并非完全无解。可以放心，有数百个聪明的头脑正在考虑反乌托邦可能性以及避免它们的方法。但未来就是未知，ChatGPT 这种强大新技术的影响与互联网出现时一样难以想象——有好的，也会有坏的。未来也肯定会有强大的人工智能系统，我们的孙子辈甚至会有更加强大的人工智能。这是无法阻止的。

我曾与 OpenAI 的联合创始人 Ilya Stutskever 谈过这项新技，就在 OpenAI 的巨型人工智能系统 GPT-4 发布之前。

GPT 是生成式预训练 Transformer（Generative Pre-trained Transformer）的缩写，这三个重要的单词可以帮助我们理解这个荷马史诗般的波吕斐摩斯：

Transformer 是这个巨型系统核心算法的名称、预训练（Pre-trained 是指通过大量文本语料库进行训练，让它理解语言的基本模式和关系——简而言之，让它了解世界。生成（ Generative ），意味着这种人工智能可以从这个基础知识中创造新的思想。

人工智能已经接管了我们生活的许多方面。但即将到来的AI更先进、 也更强大。我们正在进入未知的领域。值得花一点时间考虑一下这意味着什么。但同样重要的是不要反应过度，不要像乌龟一样躲避正照耀我们的阳光。在荷马的史诗《奥德赛》中，独眼巨人波吕斐摩斯把奥德修斯和他的船员困在他的洞穴里，打算吃掉他们。但是奥德修斯设法让这个巨人失明并逃脱了。人工智能不会吃掉我们。

Ilya Sutskever 是 OpenAI 的联合创始人和首席科学家，是大型语言模型 GPT-4 和 ChatGPT 的核心成员之一，可以毫不夸张地说，他正在改变世界。

这不是 Ilya 第一次改变世界了。他是卷积神经网络 AlexNet 的主要推动力量，其惊人的性能在 2012 年震惊了科学界，引发了深度学习革命。

以下是我们对话的编辑记录。

Ilya Sutskever，OpenAI 的联合创始人和首席科学家

CRAIG：Ilya，我知道你出生在俄罗斯。你是因为对计算机科学感兴趣还是其他原因，比如神经科学，才进入这个领域的呢？

ILYA：确实，我出生在俄罗斯。我在以色列长大，然后少年时，我的家人移民到了加拿大。我父母说我从小就对人工智能感兴趣。我也对意识非常感兴趣，它让我感到非常不安，我很好奇什么可以帮助我更好地理解它。

我17岁时就开始和 Geoff Hinton（深度学习的创始人之一，当时是多伦多大学的教授）一起工作了。因为我们搬到了加拿大，我立刻就能加入多伦多大学。我真的很想做机器学习，因为它是人工智能最重要、也很难企及的部分。

我们现在认为计算机可以学习，但是在 2003 年，我们认为计算机无法学习。当时人工智能的最大成就是 Deep Blue（ IBM 的）象棋引擎（在1997 年击败世界冠军加里·卡斯帕罗夫）。

这只是用一种简单的方法来确定一个位置是否比另一个位置更好，不可能适用于现实世界，因为没有学习。学习是一个巨大的谜团，很感兴趣。我运气很好，Geoff Hinton 正好是大学的教授，一拍即合，我加入了他们的团队。

那么智能是如何工作的呢？我们如何让计算机变得更加智能？我的意图很明确，就是为人工智能做出非常小但真正的贡献。能否理解智能如何工作并为之做出贡献？这就是我的最初动机。这几乎是 20 年前的事了。

简而言之，我意识到，如果你在一个足够大的数据集上训练一个大型深度神经网络来完成某些复杂任务，比如视觉任务，你必然会成功。这样做的逻辑是不可约的（ irreducible ）；我们知道人类的大脑可以解决这些任务，并且可以快速地解决它们。而人类的大脑只是一个由慢神经元构成的神经网络。

所以，我们只需要拿一个较小但相关的神经网络，用数据来训练它。计算机内部最好的神经网络将与我们大脑中执行此任务的神经网络相关。

CRAIG：2017年 Attention Is All You Need 论文问世，介绍了自我注意和 transformers。GPT项目是在什么时候开始的？你对 transformers有什么直觉吗？

ILYA：从 OpenAI 成立之初起，我们就在探索一个想法，即预测下一个东西就是你所需的一切。我们用当时更受限制的神经网络探索这个想法，如果你有一个神经网络可以预测下一个单词，它将解决无监督学习。所以，在 GPT之前，无监督学习被认为是机器学习的圣杯。