AI 教父 Hinton：我已经老了，如何控制比人类还聪明的 「超级智能」，交给你们了

来源：极客公园

作者 | Li Yuan、凌梓郡
编辑 | 卫诗婕

「而我已经老了」，75 岁的 Hinton 对在场所有年轻的科学家说，他希望大家好好研究「如何拥有超级智能」这件事。在他看来，不那么聪明的物种控制比它自己更聪明的事物，是一场前所未有的挑战。

在智源人工智能大会上，AI 教父 Hinton 做了《通往智能的两条路径》的演讲。他从对计算架构和原理的分析中，得出了自己结论「人造神经网络将比人脑更智能」，这比他原先想象地快很多。

30 分钟的演讲中，他从目前软硬件分离的计算架构谈起，在这种规则下，训练大模型耗费大量的算力。为了能用更少的能量训练大模型，他提出了非不朽计算（Mortal Computing）的概念——像一个人的智慧依赖他的身体，不可随意复制到另一个身体，软件也更依赖它所存在的硬件。

但随之而来的问题是，当具体的硬件损坏，软件也随之受损，「学到的知识也随之一起死亡」。他提出的解决思路是，把旧硬件上的知识用「蒸馏」的方式转移给新硬件，就像老师教授学生一样。

与「知识蒸馏」（生物计算）相对应的概念则是「权重共享」（数字计算），它们便是 Hinton 所说的「通向智能的两条路径」。大语言模型和其副本之间的关系是权重共享，每一个副本都直接获得整个模型参数所拥有的知识——比如 ChatGPT 可以基于背后的模型，同时和成千上万人对话。而跟每个人对话的继续学习过程中，就属于「知识蒸馏」。

尽管「知识蒸馏」比「权重共享」的效率低很多，带宽也低，但是大模型可以有 1000 个副本，最终会获得比任何一个人都多 1000 倍的知识。

目前模型仅仅从文档——也就是人类加工过的知识中学习，随着技术的发展，它们将能够从视觉信息中学习，接着可能学会操纵机器人。那么它们很容易比人类更聪明，聪明到擅长骗人。而人类不擅长比与自己更聪明的事物相处。如何避免这些「超级聪明」智能带来危险？这是他留给每一位年轻科学家的课题。

以下是经极客公园编译整理的主要演讲内容：

我今天要谈的是使我相信超级智能比我想象的更接近的研究。

我有两个问题想谈，我的精力将主要集中于第一个问题，即人工神经网络是否很快就会比真实的神经网络更智能？我将详细阐述我的研究，它们使我得出一个结论，这样的事情可能很快就会发生。在讲话的最后，我将谈一谈我们是否能保持对超级智能的控制，但这不会是此次讲话的主要内容。

在传统计算中，计算机被设计成精确地遵循指令的样子。我们可以在不同的物理硬件上，运行完全相同的程序或神经网络，因为我们知道硬件会精确地遵守指令。这意味着，程序中的知识或神经网络的权重是不朽的（immortal），即它不依赖于任何特定的硬件。实现这种不朽性的成本很高。我们必须以高功率运行晶体管，所以它们的行为是数字化的。而且我们不能利用硬件的丰富的模拟和可变属性。

因此，数字计算机存在、以及它们精确遵循指令的原因，是因为传统设计中，人类会去看一个问题，会想出需要采取什么步骤来解决问题，然后我们会告诉计算机采取这些步骤。但这已经改变了。

我们现在有一种不同的方式来让计算机做事情，这就是从实例中学习，我们只需向它们展示我们希望它们做什么。因为有了这样的变化，现在我们有机会可以放弃计算机科学最基本的原则，即软件与硬件分离的原则。

在我们放弃它之前，让我们先来看看为什么它是一个如此好的原则。可分离性让我们可以在不同的硬件上运行同一个程序。我们也可以直接研究程序的属性，而不用担心电子硬件的问题。而这就是为什么计算机科学系可以独立于电子工程系自成一个学科。

如果我们真的放弃了软硬件的分离，我们就会得到我称之为非不朽计算的东西。

它显然有很大的缺点，但也有一些巨大的优势。为了能以更少的能量运行大型语言模型，尤其是以更少的能量训练它们，我开始研究非不朽计算。

从放弃不朽性中得到的最大好处是：放弃了硬件和软件的分离可以节约大量能源。因为我们可以使用非常低的功率的模拟计算，而这正是大脑正在做的事情。它确实需要进行 1 bit 的计算，因为神经元要么启动，要么关闭。但大部分的计算是以模拟方式进行的，能够以非常低的功率完成。