担忧 AI 向人类扔核弹，OpenAI 是认真的

原文来源：极客公园

作者：连冉

图片来源：由无界 AI生成

即将上映的好莱坞科幻电影《AI 创始者》中，一个原本为人类服务的人工智能在洛杉矶引爆了核弹。

比电影更加科幻的是，现实中，AI 公司们已经开始担忧起这样的场景真的出现在现实世界。

近日，OpenAI 表示出于对 AI 系统安全性的考虑，公司正在成立专门团队应对前沿 AI 可能面临的「灾难性风险」，其中包括核威胁。

事实上，其 CEO Sam Altman 一直担忧 AI 可能对人类构成「灭绝性」威胁，此前曾在包括美国国会咨询的多个场合下呼吁加强 AI 类的监管。不过，包括 Meta 科学家 Yann LeCun 在内的一批科学家则对 AI 监管持不同观点，后者认为当前 AI 能力仍然有限，过早监管不仅只会让大公司受益，也会扼杀创新。

这突显了业内对前沿 AI 监管仍存在分歧。监管过早可能会制约技术发展，但缺乏监管又将难以应对风险。如何在技术先行和防范监管间取得平衡，使 AI 既高效发展又安全可控，仍然属于业界难题。

01 AI，前沿还是危险

近日，OpenAI 在一份更新中表示，出于对 AI 系统安全性的考虑，公司正在组建新团队「准备就绪（Preparedness）」来跟踪、评估、预测「前沿模型」的发展，以防止所谓的「灾难性风险」，包括网络安全问题以及化学、核和生物威胁。

图片来源：OpenAI 官网

该团队将由 Aleksander Madry 领导，他任 MIT 可部署机器学习中心主任一职，目前处于休假期间。

此外，该团队的任务还包括制定和维护「风险知情开发政策」，该政策将详细阐释 OpenAI 构建 AI 模型评估和监控工具的方法、公司的风险缓解行动以及监督整个模型开发流程的治理结构。该政策旨在补充 OpenAI 在 AI 安全领域的工作，并保持部署前后的安全性与一致性。

OpenAI 提出，管理前沿 AI 模型的可能的灾难性风险需要回答以下几个关键问题：

OpenAI 在更新中写道：「我们相信…将超越目前最先进模型的前沿 AI 模型，有可能造福全人类…但它们也会带来越来越严重的风险。」

最近一段时间，OpenAI 不断强调 AI 的安全问题，并开展了一系列公司层面、舆论层面、甚至政治层面的行动。

此前在 7 月 7 日，OpenAI 宣布成立一个新团队，旨在探索引导和控制「超级 AI」的方法，团队由 OpenAI 联合创始人兼首席科学家 Ilya Sutskever 和 Alignment 负责人 Jan Leike 共同领导。

Sutskever 和 Leike 曾预测，超过人类智慧的人工智能将在 10 年内出现，他们称，这种人工智能不一定是善良的，因此有必要研究控制和限制它的方法。

根据当时的报道，该团队被授予最高优先级，并获得公司 20% 的计算资源支持，他们的目标是在未来四年内解决控制超「超级 AI」的核心技术挑战。

为了配合此次「准备就绪」团队的启动，Open AI 还举办了一项挑战赛，让外部人士就 AI 可能被如何滥用并在现实世界造成危害的方式提出想法，前 10 名的提交者将获得 2.5 万美元的奖金和一份「准备就绪」的工作。

02 关于「AI 可能导致人类灭绝」的担心

OpenAI 的 CEO Sam Altman 一直担心 AI 可能导致人类灭绝。

在 5 月的一场 AI 主题的美国国会听证会上，Altman 就表示，需要对 AI 进行监管，如果没有针对超级 AI 的严格监管标准，未来 20 年内将会出现更多危险。

5 月底，Altman 又和谷歌 DeepMind、Anthropic 的 CEO 以及一些知名 AI 研究人员签署了一份简短声明，声称「与流行病和核战争一样，减轻 AI 导致灭绝的风险应该成为全球优先事项之一」。

6 月的旧金山科技峰会上，Sam Altman 提到在 AI 技术发展上「你不应该信任一家公司，当然也不应该信任一个人」，他认为这项技术本身以及它的好处、它的获取、它的治理，都是属于全人类的。

不过也有人（以马斯克为代表）指责 Altman「呼吁监管」只是为了保护 OpenAI 领导地位。Sam Altman 当时回应称，「我们认为，应该对那些超过某一高度能力阈值的大型公司和专有模型进行更多监管，而对小型初创公司和开源模型的监管应该较少。我们已经看到试图对科技进行过度监管的国家所面临的问题，这不是我们所期望的。」