我们和OpenAI联创聊了聊GPT的局限性：这些局限两年后可能就不存在了

来源：钛媒体

钛媒体注：自Open AI在2019年首次发布GPT-2大模型以来，我们就一直保持深度关注与联系，2022年12月初首款应用ChatGPT发布后，钛媒体也多次组织和参与了相关讨论。最近几个月，关于AI与大语言模型几乎每天都有争论，热度不减。但OpenAI对于GPT新一代大模型的研发进展并未停止。

日前，钛媒体特约作者和研究员，“Eye on AI”播主Craig Smith于日前GPT-4发布之际，走进openAI并与openAI联合创始人&首席科学家 Ilya Stutskever进行了深入探讨。

我们把Craig和Ilya Sutskever深入交谈的重要内容做了一个简略整理，中文在钛媒体App上进行独家发布。

OpenAI是一个非营利性的人工智能研究机构，其分支机构却很可能将成为未来地球上最有利润的实体之一，他们最新发布的GPT-4可以说是一个巨型系统，这个系统消耗了数十亿字的文本——超过一个人类可能在一生中阅读的数量。

GPT（Generative Pre-trained Transformer的简称）代表“生成式预训练大模型”，这三个重要的单词可以帮助我们理解这个荷马史诗般的波吕斐摩斯。“大模型”（Transformer）是这个巨型系统核心算法的名称。“预训练”（Pre-trained）是指通过大量的文本语料库进行教育，让它理解语言的基本模式和关系——简而言之，让它了解世界。“生成（Generative）”意味着这种人工智能可以从这个基础知识中创造新的思想。

在Craig与openAI联合创始人深度聊完后，我们意识到，虽然当下，人工智能已影响了我们生活的许多方面，但GPT的出现，是更加先进、更加强大的人工智能，我们正在进入这个未知的领域，并值得花一点时间考虑一下这意味着什么。

科技巨头、研究者和投资者都似乎在疯狂追求开发最先进的人工智能，马斯克和许多人则在大声质疑我们是否进展得太快，还有当下chatGPT可能产生的诸多社会问题，这些都是GPT自己尚没有解决的问题，比如幻觉。

但这个问题并非完全无解，有数百个敏锐的头脑正在考虑着反乌托邦的可能性——以及避免他们失控。未来是未知的，这种强大的新技术的影响与互联网出现后，社交媒体的诞生一样难以想象。会有好的，也会有坏的，但未来会有强大的人工智能系统，我们的孙子辈将会有更加强大的人工智能。这是无法阻止的。

但同样重要的是不要过度反应，不要像乌龟一样躲避现在照耀着我们的明亮的阳光。在荷马史诗《奥德赛》中，独眼巨人波吕斐摩斯把奥德修斯和他的船员困在他的洞穴里，打算吃掉他们。但是奥德修斯设法让这个巨人失明并逃脱了。人工智能不会吃掉我们。

Ilya Sutskever是OpenAI的联合创始人和首席科学家，是大型语言模型GPT-4和其公共后代ChatGPT的主要创造者之一，我认为毫不夸张地说，他正在改变世界。

这也不是Ilya第一次改变世界了。他是AlexNet的主要推动力量，这是一个卷积神经网络，其惊人的性能在2012年震惊了科学界，引发了深度学习革命，也改变了曾经人们对人工智能的绝望，改变了大家曾经更深蒂固的“计算机不能学习”的认识。曾经计算科学的局限性，今天早已不复存在，而今天GPT的局限性，Ilya Sutskeve本人同样也没有那么悲观。

CRAIG：Ilya，我知道你出生在俄罗斯。你是因为对计算机科学感兴趣还是其他原因，比如神经科学，才进入这个领域的呢？

ILYA：确实，我出生在俄罗斯。我在以色列长大，然后作为一个少年，我的家人移民到了加拿大。我父母说我从小就对人工智能感兴趣。我也对意识非常感兴趣，它让我感到非常不安，我很好奇什么可以帮助我更好地理解它。

我17岁时就开始和Geoff Hinton（钛媒体App编者注：“深度学习”三巨头之一，有着AI教父之称，当时是多伦多大学的教授）一起工作了。因为我们搬到了加拿大，我立刻就能加入多伦多大学。我真的很想做机器学习，因为那似乎是当时完全无法访问的人工智能最重要的方面。

那是2003年。我们现在认为计算机可以学习，但是在2003年，我们认为计算机无法学习。当时人工智能的最大成就是Deep Blue（IBM旗下机构）的象棋引擎（在1997年击败世界冠军加里·卡斯帕罗夫）。

但是，你有这个游戏和这个研究，以及一种简单的方法来确定一个位置是否比另一个位置更好。它确实感觉不可能适用于现实世界，因为没有学习。学习是一个巨大的谜团。我对学习非常感兴趣。出于我的大运气，Geoff Hinton是大学的教授，我们几乎马上就开始合作了。

那么智能是如何工作的呢？我们如何让计算机变得更加智能？我有一个非常明确的意图，就是为人工智能做出非常小但真正的贡献。人工智能在当时是一个令人绝望的领域。所以，我的动机就是，我能否理解人工智能是如何工作的？还有能否为之做出贡献？这就是我的最初动机。这几乎是20年前的事了。