AI换脸风暴：骗局、产业与技术防守

来源：“经济观察报”（ID:eeo-com-cn），作者：任晓宁 周应梅，实习生：陶思羽

壹||当人类已经很难用肉眼识别出AI合成痕迹，进而可能被AI诈骗时，有些人想到一个办法，用AI技术打败AI技术。
贰||互联网公司们对AI大模型及GPT产品都非常谨慎。目前为止，推出大模型内测的公司有几十家，但都在内测，没有一个向公众开放。
叁||今年以来，国内也陆续出现过一些“虚拟女友”类面向C端的AI产品，可以用AI模拟人类和用户聊天，但很快被微信等平台封掉。

图片来源：由无界 AI工具生成

一位包头老板被AI换脸诈骗430万元的消息，瞬间传遍了整个朋友圈。而三天之后，安徽警方公布了另一起AI换脸导致的诈骗案，涉案金额同样高达百万元。

这种利用AI技术的新型犯罪也很快引发了监管关注。中国互联网协会5月24日在官微发文称，ChatGPT和GPT-4等技术的应用，成为了信息科技领域的热点，引起公众对AI技术的广泛关注和热情。但伴随着深度合成技术的开放开源，深度合成产品和服务逐渐增多，利用“AI换脸”“AI换声”等虚假音视频，进行诈骗、诽谤的违法行为屡见不鲜。并提醒面对利用AI技术的新型骗局，广大公众需提高警惕，加强防范。

AI换脸技术并非直到近期才成熟；早在2019年起就风靡全球，2019年换脸技术DeepFake一出现便引发了巨大伦理和法律争议，但彼时的技术已经证明，“一键换脸”起码从技术上来看，并不存在什么门槛可言。

不过，技术的细节迭代还是发生了。比如相比此前肉眼能够比较轻松识别、在生成式AI技术浪潮爆发的当下，AI换脸正在越来越变得毫无痕迹。

创新工场AI子公司、港股上市公司创新奇智CTO张发恩告诉记者，随着AI技术发展越来越快，研究越来越深，AI换脸、换声音，破绽会越来越小。“技术是好的，但有时候会被不法分子利用。”张发恩也是宁波诺丁汉大学客座教授，曾任百度智能云事业部首席架构师和技术委员会主席。

技术与防守

“现在已经到了大规模、集中化讨论AI风险的关键时刻。”接受记者采访时，清华大学教授、博士生导师沈阳提出警示。他研究AI和大数据已有十多年时间。

沈阳今年也在做大模型平台，他了解技术进步的速度，也知道大众面对新技术的无措。他承认，AI技术有很正向的应用价值，但其坏的一面也应该重视。

根据沈阳的判断，AI换脸等引发的问题，会让我们经历一段混乱阶段，这对当前社会的整体反应提出了高要求。并且，这种混乱还将蔓延相当长时间。

“会比互联网或移动互联网早期的混乱期更长。毕竟互联网和移动互联网，都还是工具，但AI可能是自我觉醒的新物种，它是真的能挑战人类的存在。”沈阳说。

国外ChatGPT产品已经向大众开放，暴露的风险更多。据了解，目前OpenAI已经选择暂停研发GPT-5，暂停时长6个月。麻省理工学院人工智能与基础交互中心物理学教授、未来生命研究所所长Anthony Aguirre称，GPT的军备竞赛是不幸的，这更像是一场自杀竞赛。“我们面临着不负责任的企业、广泛应用、监管缺失和大量未知因素引发的完美风暴。”

一览科技联合创始人兼CTO陈锡言告诉记者，能否识别哪些是AI生成的内容，会在未来成为人类基本生存技能。因为这些能力是不可或缺的。

当人类已经很难用肉眼识别出AI合成痕迹，进而可能被AI诈骗时，有些人想到一个办法，用AI技术打败AI技术。

独到科技CEO张文浩觉得，AI安全是当下一个好赛道，最近出现了大量专门针对AI安全的公司，创业方向是识别AI合成图片、视频的痕迹，以及辨别伪造声音。

陈锡言对此也很感兴趣。他说，虽然自己从事AI视频行业，现在能一眼识别出某个视频是否由AI合成，但如果有类似产品出现，他也愿意购买。毕竟，技术会发展到什么程度，很难预料。

记者统计的近3个月获得投资的AI公司中，安全公司有2家，分别是齐治科技、云科安信。

一位大模型公司技术人员告诉记者，AI安全是学界中的一个很重要的研究领域，上升为工程产品后，“整个大模型的业界都在讨论这个问题”。

不过，AI是否能真的识破AI，目前仍有争议。

沈阳告诉记者，现在国外有一些AI安全技术雏形，可以自动检测某个图片或视频是否为AI合成，但当前技术还不是太成熟。