人工智能教父Hinton：关于ChatGPT与AI发展的11个核心观点

来源：AI商业研究所

导读：

Geoffrey Hinton被称为“人工智能教父”，从上世纪80年代开始研究神经网络，是这个领域从业时间最长的人。

他曾获得2018年的图灵奖，是“深度学习三巨头”之一，是AI史上最重要的学者之一，论文被引用了50多万次。

他的父亲Howard Everest Hinton是英国昆虫学家，母亲Margaret是一名教师，他们都是共产主义者。他的叔叔是著名的经济学家Colin Clark，发明了“国民生产总值”这个经济术语，他的高祖父是著名的逻辑学家George Boole，他发明的布尔代数奠定了现代计算机科学的基础。

在厚重的科学家家族底蕴熏陶下，Hinton从小拥有独立思考能力以及坚韧品质，并且肩负着继承家族荣誉的担子。1973年，在英国爱丁堡大学，他师从Langer Higgins攻读人工智能博士学位，但那时几乎没人相信神经网络，导师也劝他放弃研究这项技术。周遭的质疑并不足以动摇他对神经网络的坚定信念，在随后的十年，他接连提出了反向传播算法、玻尔兹曼机，不过他还要再等数十年才会等到深度学习迎来大爆发，到时他的这些研究将广为人知。

他曾经和他带的两位博士生（其中一位是OpenAI的首席科学家Ilya）创立了一家AI公司，后来卖给了Google，他本人也进入Google担任首席科学家，参与了谷歌大脑。

他有很多学生在大厂担任首席科学家。他的学生Ilya，在他的研究基础上，用ChatGPT证明了Hinton的技术路线，这个路线始于上世纪80年代，直到最近几年大众才看到这条路上的金矿。

本文是Hinton关于ChatGPT和AI发展的访谈内容整理而成。供参考。

01、如果不了解大脑，我们永远无法理解人类

在70年代，有一种时髦的观点认为，你可以在不关心大脑的情况下做到这一点，我认为不可能，必须了解大脑是如何运作的。

在AI领域，有两种思路。一种是主流AI，另一种是关于神经网络的。主流AI认为，AI是关于推理和逻辑的，而神经网络则认为，我们最好研究生物学，因为那些才是真正有效的东西。所以，主流AI基于推理和逻辑制定理论，而我们基于神经元之间的连接变化来学习制定理论。从长远来看，我们取得了成功，但短期内看起来有点无望。

神经网络在20世纪80年代没有真正奏效的原因是，计算机运行速度不够快，数据集不够大。然而，在80年代，一个重要的问题是，一个拥有大量神经元的大型神经网络，计算节点和它们之间的连接，仅通过改变连接的强度，从数据中学习，而没有先验知识，这是否可行？主流AI的人认为这完全荒谬。

但它确实可行。因为大脑就是这样，经过学习，我们能完成没有进化出来的技能，比如阅读。阅读对我们来说是非常新的，我们没有足够的进化时间来适应它。但我们可以学会阅读，我们可以学会数学。所以一定有一种在这些神经网络中学习的方法。

大约在2006年，我们开始做所谓的深度学习。在那之前，让具有多层表示的神经网络学会复杂事物一直很困难。我们找到了更好的方法来实现这一点，更好的初始化网络的方法，称为预训练。

在ChatGPT中，P代表预训练。T代表变换器，G代表生成。实际上，是生成模型为神经网络提供了更好的预训练方法。2006年时，这个理念的种子已经埋下。

反向传播的思想就是在一开始随机设置连接权重，然后根据预测结果调整权重。如果预测出现错误，那么你就通过网络反向计算，并提出以下问题：我应该如何改变这个连接强度，使其更不容易说出错误答案，更容易说出正确答案？这称为误差或差异。然后，你要计算每个连接强度如何进行微调，使其更容易得出正确答案，更不容易得出错误答案。

一个人会判断这是一只鸟，然后将标签提供给算法。但是反向传播算法只是一种计算方法，用于确定如何改变每个连接强度，使其更容易说鸟，更不容易说猫。算法会不断尝试调整权重。现在，如果你展示足够多的鸟和猫，当你展示一只鸟时，它会说鸟；当你展示一只猫时，它会说猫。事实证明，这种方法比手动连接特征检测器要有效得多。

值得称道的是，那些曾经坚定反对神经网络的人，当看到这种方法成功时，他们做了科学家通常不会做的事情，也就是说：“它有效，我们会采用这个方法。”人们认为这是一个巨大的转变。因为他们看到这种方法比他们正在使用的方法更有效，所以他们很快就改变了立场。