Sam Altman中国对话全文：要警惕AI风险，但看懂神经网络比了解人在想什么容易多了

作者｜Neil Shen

来源丨品玩

Sam Altman 的致辞发生在6月10日智源大会的AI安全与对齐分论坛上。现场座无虚席，这位OpenAI CEO在屏幕上出现时，现场响起掌声，几乎所有人都举起手机对着屏幕拍照。

不过Altman本人显得十分平静，甚至是谨慎。这是去年ChatGPT搅动全球AI热潮以来，Sam Altman 首度在中国背景的场合公开发表意见。

事实上当天他也在离中国不远的地方，此前他刚刚抵达首尔，见了韩国总统。在发表演讲后，他还与智源研究院理事长张宏江进行了一对一问答。以下为要点及实录。

要点：

随着我们在技术上越来越接近AGI，不对齐的影响和缺陷将呈指数级增长。

OpenAI目前使用强化学习人类反馈技术来确保AI系统有用与安全，同时也在探索新的技术，其中一个思路是使用AI系统来辅助人类去监督别的AI系统。

十年内人类将拥有强大的人工智能系统（AI System）。

OpenAI没有相关的新的有关开源的时间表，尽管他承认在有关AI安全的问题上，开源模型具有优势，但开源所有东西可能并不是一条（促进AI发展的）最佳路线。

看明白神经网络比看明白人类脑子容易多了。

中国有最优秀的人工智能人才，AI安全需要中国研究者的参与和贡献。

以下为演讲实录：

今天，我想谈谈未来。具体来说，就是我们在人工智能能力方面看到的增长速度。我们现在需要做什么，为它们引入世界做好负责任的准备，科学史教会我们，技术进步遵循指数曲线。我们已经能从历史中看到这一点，从农业、工业到计算革命。人工智能令人震撼的不仅是它的影响力，还有它的进步速度。它拓展了人类想象力的边界，并且以快速的步伐进行着。

想象一下，在未来十年里，通常被称为通用人工智能（AGI）的系统，在几乎所有领域都超越了人类的专业水平。这些系统最终可能超过我们最大公司的集体生产力。这里面潜藏着巨大的上升空间。人工智能革命将创造共享财富，并使提高每个人生活水平成为可能，解决共同挑战，如气候变化和全球卫生安全，并以无数其他方式提高社会福祉。

我深信这个未来，为了实现它并享受它，我们需要共同投资于AGI安全，并管理风险。如果我们不小心，一个不符合目标的AGI系统，可能会通过提供没有根据的建议，破坏整个医疗系统。同样地，一个旨在优化农业实践的AGI系统可能会由于缺乏对长期可持续性的考虑而无意中耗尽自然资源或破坏生态系统，影响食品生产和环境平衡。

我希望我们都能同意，推进AGI安全是我们最重要的领域之一。我想把我剩下的讲话重点放在我认为我们可以从哪里开始的地方。

一个领域是AGI治理，这是一项具有全球影响的技术。鲁莽开发和部署造成的事故成本将影响我们所有人。

在这方面，有两个关键要素：

首先，我们需要建立国际规范和标准，并通过包容的过程，在所有国家为AGI的使用制定平等统一的保护措施。在这些保护措施之内，我们相信人们有充分的机会做出自己的选择。

其次，我们需要国际合作来建立对日益强大的人工智能系统安全开发的全球信任，以可验证的方式。这不是一件容易的事情。我们需要作为国际社会投入持续而重要的关注，才能做好这件事。道德经提醒我们，千里之行始于足下。我们认为在这里采取最有建设性的第一步是与国际科技界合作。

特别是，我们应该促进增加透明度和知识共享的机制，关于AGI安全方面的技术进展。发现新出现安全问题的研究人员应该为了更大的利益分享他们的见解。我们需要认真考虑如何在尊重和保护知识产权权利的同时，鼓励这种规范。

如果我们做好了这一点，它将为我们打开新的大门，让我们能够加深合作。更广泛地说，我们应该投资、促进和引导对目标和安全研究的投资。

在OpenAI，我们今天的目标研究主要集中在技术问题上，即如何让人工智能系统作为一个有用和安全的助手，在我们当前的系统中行动。这可能意味着，我们如何训练ChatGPT，使它不会发出暴力威胁或协助用户进行有害活动。

但是随着我们更接近AGI，任何不符合目标的潜在影响和程度都将呈指数增长。为了提前解决这些挑战，我们努力将未来灾难性结果的风险降到最低。对于当前系统，我们主要使用来自人类反馈的强化学习来训练我们的模型，使其作为一个有用和安全的助手行动。