“黑化”AI：造谣、诈骗，堪比幻术

快播创始人王欣在法庭上发表的“技术无罪论”曾在7年前引发全民讨论。出狱后的王欣修正了他的观点：“技术是无罪的，但人会犯错”。

现在，AI这个技术正在落入不法者手中。5月22日，“AI诈骗正在全国爆发”登上了微博热搜榜首。包头警方披露，不法分子利用AI换脸和仿声，在微信视频中蒙混过关，10分钟内骗取事主430万元。

类似事件频频在国内发生。行骗者用AI工具换脸、模拟声音实施了多起诈骗，不少人中招。

有网友用“幻术”形容可易容、能仿声的AI。此外，还有一些人瞅准了ChatGPT的文本能力，专用它生产谣言，博取眼球，吸引流量。

当AI被“黑化”，正邪攻防战也打响了。

AI换脸+仿声 10分钟骗走430万

当知根知底的微信好友拨来视频，对面是熟悉的面孔和声音，一番寒暄后，好友提出有朋友在外地投标，需要借用一下你的公司账户过一下款。过款方式是先把钱转给你，再让你给他的“朋友”账户汇款。你会对整件事情有所怀疑吗？

福州市某科技公司法人代表郭先生没有怀疑，10分钟内打款430万元，但他其实被骗了。

根据“平安包头”5月20日发布的公众号消息，郭先生的微信好友在要了卡号后，声称已经把钱打到了郭先生的账户，还把银行转账底单的截图发给了郭先生。基于视频聊天信任的前提，郭先生没有核实钱是否到账，就把钱打给了对方提供的陌生账户内。

等郭先生再次联系该微信好友，表示事情已经办妥，没想到对方回复了一个“？”。郭先生这才心生疑窦，打去电话两人一对，这才意识到遇到了“高科技”骗局。

原来，和他微信视频过的“好友”，从脸到声音都是假的。郭先生为啥没认出来？AI换脸和仿声发挥了作用。郭先生称，“在视频中确认了面孔和声音，才放松了戒备”。

回头复盘，郭先生唯一的操作失误，就是没仔细确认钱到账，就给对方先打了款。而他之所以会这么做，是因为已经在视频里看到了“好友”的脸、听到了“好友”的声。

更不可思议的是，骗子并非使用冒牌微信账号与郭先生视频，而是直接用其好友的真实账号发起视频聊天。这表明，朋友的微信账号也在神不知鬼不觉间被骗子盗用了，这也是骗子成功施骗的另一个关键。

不幸中的万幸，识别骗局后郭先生第一时间报警，福州、包头两地警银迅速启动止付机制，成功止付拦截336.84万元，但仍有93.16万元被转移，目前正在追缴中。

AI诈骗相关话题引发热议

这起诈骗案件一经披露，迅速引发了广泛关注，“AI诈骗正在全国爆发”更是登上了微博热搜榜首。许多网友称，当强大的AI被坏人利用，危害性比进步性带来的威力还大。

“脸不能信，声音也不能信了，看来以后想不被骗只有两种办法，一是不借，二是没钱”，有网友流露出担忧，毕竟视频连线都能骗人，“你没法确定电话那头跟你聊天的是谁”。

用AI软件造谣、传谣 多人被刑拘

“AI仿声诈骗”这股风还是迅猛地吹到了国内。4月27日，《元宇宙日爆》曾发文“接到‘女儿’求救电话 亲妈差点被AI仿声骗了”，那时的案例还发生在美国亚利桑那州，骗子采集女儿的声音，冒充绑匪，让“女儿”在电话里向母亲求救。事后回忆起这一幕时，接到电话的母亲依然对电话里的女儿声音深信不疑。

技术已经就位，AI迅速在恶人手中“黑化”，成为掠夺普通人钱财的鬼影。

据财经网报道，近期，福州的李先生也遭遇了AI诈骗，骗子冒充其领导打来微信视频电话，谎称亲戚参加竞标需要资金，自己不便出面，想借李先生的名义转给亲戚。李先生因此被骗48000元。

小李的大学同学通过QQ跟她借钱。对方打过来一段四五秒的视频电话，小李看到确实是本人，便放心转账3000元。然而，在她第二次转账时发觉异常，再次拨通对方电话，这才得知同学的账号被盗。警方通过侦查发现，此段视频系诈骗分子通过AI技术伪造。

类似案件不胜枚举，微博网友“快乐大吉利”将AI比作幻术。

被“黑化”的AI不止能通过换脸和仿声诈骗，还成了谣言制造机，给被造谣者带来困扰。

今年3月，女孩一丝不挂搭地铁的照片疯传，一些针对照片中人的不良评论出现。结果，有人在某平台找到了与裸照同样姿势的原图，只不过图中的女性穿着衣服，传播的裸照是用AI“一键脱衣”生成的。而照片里的女性本人在生活中已经被各种谣言缠身。