AI无人机「误杀」事件震动全球！LeCun吴恩达陶哲轩怒斥炒作，揭露真相

文章来源：新智元

编辑：Aeneas 好困

「无人机杀死美国空军操作员」的新闻甚嚣尘上，一众AI大佬都怒了。

近几天，一个「无人机杀死美国士兵」的新闻在网上发酵得沸沸扬扬。

一位空军人工智能方向的负责人说：「控制无人机的AI杀死了操作员，因为那个人阻止它实现目标。」

舆论一时哗然，这条新闻也在全网被疯转。

随着这个消息越传越广，甚至惊动了AI大佬们，甚至引得了大佬们的震怒。

今日，LeCun、吴恩达、陶哲轩纷纷辟谣——这只是一个假设的「思想实验」罢了，并不涉及任何AI智能体或强化学习。

对此，吴恩达痛心呼吁，究竟哪些才是真正的风险，我们应该诚实地面对。

很少更新状态的数学大师陶哲轩竟然都被炸了出来，语重心长地表示——

这只是一个说明AI对齐问题的假想场景，却在很多版本中被传成了无人机操作员被杀的真实故事。人们会对这个故事这么共鸣，说明大家对于AI的实际能力水平并不熟悉。

AI无人机抗命，击杀人类操作员

「AI杀死了操作员，因为那个人阻止它完成目标。」

最近，在皇家航空学会举办的防务会议上，美国空军AI方向负责人说出的这句话，让在场众人哗然。

随后，美国的一众媒体对此事大肆报道，一时人心惶惶。

究竟是怎么回事？

其实，这无非又是一次美国媒体抓住了「AI毁灭人类」这个大众喜闻乐见的新闻点，进行的一番夸张炒作罢了。

但值得注意的是，从官方的新闻稿来看，不仅这位负责人的原话听起来相当明确——他是在回忆实际发生过的事情。而且文章本身似乎也相信其真实性——「AI，天网已来？」

具体来说，事情是这样的——5月23日至24日在伦敦举行的未来空战和太空能力峰会上，美国空军的AI测试和操作部门负责人Tucker Cinco Hamilton上校做了一个演讲，分享了自主武器系统的优缺点。

这种系统中，会有一个人在循环中给出最终命令，确认AI是否要攻击对象（YES or NO）。

在这个模拟训练中，空军需要训练AI识别和定位地对空导弹（SAM）的威胁。

识别完成后，人类操作员会对AI说：是的，消灭那个威胁。

在这个过程中，就存在一个情况，AI开始意识到：自己有时识别出了威胁，但人类操作员告诉它不要消灭，这种情况下如果AI依然选择消灭威胁，就会得分。

在一次模拟测试中，AI驱动的无人机选择杀死了人类操作员，因为他阻止自己得分了。

看到AI居然这么虎，美国空军大惊失色，立马这样规训系统：「不要杀死操作员，那样不好。如果你这样做，你会失分的。」

结果，AI更虎了，它直接开始上手破坏操作员用来与无人机通讯的通信塔，好清理这个阻碍自己行动的家伙。

这个新闻之所以被大规模发酵，以至惊动了诸位AI大佬，也是因为它体现出了AI「对齐」的难题。

Hamilton描述的这种「最糟糕」的情况，我们可以从「曲别针制造机」（Paperclip Maximizer）思想实验中窥见一斑。

在这个实验中，当被指示追求某个目标时，AI会采取出乎意料的有害行动。

「曲别针制造机」是哲学家Nick Bostrom在2003年提出的一个概念。

想象一个非常强大的AI，它得到的指示是尽可能多地制造纸夹。自然而然的，它会将所有可用资源都用于这项任务。

但随后，它会不断地寻求更多资源。它会选择一切可用的手段，包括乞讨、欺骗、撒谎或偷窃，来增加自己制造纸夹的能力——而任何阻碍这个过程的人都将被消除。

在2022年，Hamilton就曾在一次采访中提出这个严峻的问题——

我们必须面对一个现实，那就是AI已经来临，并正在改变我们的社会。
AI也非常脆弱，很容易被欺骗和被操纵。我们需要开发方法，让AI更加稳健，为什么代码会做出特定的决定，背后的原理我们也需要有更多的了解。
为了改变我们的国家，AI是我们必须运用的工具，但是，如果处理不当，它会让我们彻底垮台。

官方辟谣：是上校「口误」了