“AI换脸”骗走2亿港元 专家支招如何防范

【TechWeb】4月19日消息，过去一年，AI成为火爆全网的热词。围绕AI的应用不断涌现，争议也随之而来，尤其是AI诈骗，频频登上热搜。

日前，香港警方披露，一家跨国公司香港分公司的财务人员，在参加一场内部“多人视频会议”后，被骗2亿港元。原来，除了受害人是“真人”，视频会议里的其他“同事”均是用AI换脸技术冒充的。今年央视315晚会上也曝光了多起利用AI拟声、换脸进行诈骗的案例。

这几起诈骗事件背后都有着深度伪造技术Deepfake的身影。这不是一项新技术，但过去一年生成式AI技术的爆发大大降低了其门槛，使制作难以辨识的换脸视频越来越容易，“有图有真相”变得不再靠谱，骗术更是防不胜防。

那么，我们该如何保护自己的个人信息？又该如何识别对话视频中的是“真人”还是“数字人”？

防不胜防的Deepfake

所谓Deepfake，其实是“deep learning”（深度学习）和“fake”（伪造）的合成词，指的是基于深度学习算法，从大量的视频和图像数据中学习，伪造出逼真的面部动画和语音。Deepfake技术最常见，也是我们最熟知的应用，就是AI换脸。

人们最初认识这项技术是在2017年12月，一位名叫“deepfakes”的网友在Reddit网站发布了一条视频，利用AI技术将成人电影女主角的脸换成了《神奇女侠》主演盖尔·加朵，引发广泛关注。后来人们开始用他的网名deepfakes命名这项技术。

在国内，deepfakes也深受一些技术宅的喜欢。网上不乏售卖AI换脸软件的学习教程，除了详细的操作指导，甚至还附赠合成视频成品大礼包、明星脸部素材库、合成辅助工具等。2019年2月，B站UP主“换脸哥”用AI技术把朱茵饰演的黄蓉换成了杨幂的脸，也曾引发热议。

deepfakes小有名气之后，同名算法在GitHub开源，越来越多的换脸视频在网上流传。清华大学人工智能研究院等机构发布的《深度合成十大趋势报告（2022）》显示，2021年新发布的深度合成视频的数量，较2017年已增长10倍以上。

2023年ChatGPT突然爆火刷屏，生成式AI“飞入寻常百姓家”，尤其是视频生成模型Sora的问世，大大降低了AI换脸技术的门槛。OpenAI CEO阿尔特曼近日在出席活动时表示，“OpenAI 可以将非常高质量的 AI 技术成本降至接近零”。

但技术的使用是把双刃剑，过去一年，利用Deepfake技术伪造虚假的图像、视频和音频来冒充他人身份进行诈骗的事件越来越多，“AI诈骗成功率接近100%”、“AI换脸骗走香港男子2亿港元”、“公司老板被AI诈骗430万”等相关话题频频登上热搜，对公众财产、隐私等权益造成侵害。

中国信通院人工智能研究中心安全与元宇宙部主任石霖指出，当前，深度伪造技术相对成熟，使用成本在逐渐降低，速度和拟真程度不断提升，技术的检测需求逐渐增大，但检测难度不断提升。比如，Sora生成的视频，很难用肉眼辨别真假。

如何识破“AI变脸”？

AI换脸骗走香港男子2亿港元的事件传开后，如何识别对话视频中的是真人还是数字人再度成为热议焦点。

有专家表示，可以让对方摁鼻子、摁脸，观察其面部变化。如果是真人，脸部会变形，如果是数字人，则不会，或出现破绽。随后，“怀疑对方AI换脸可以让对方摁鼻子”登上微博热搜，目前阅读量高达1.3亿。

不过，也有业内人士认为这个方法不一定奏效。蚂蚁集团天玑实验室安全算法专家朱凯在接受《解放日报》采访时表示，这个做法有一定的参考价值，但未必完全奏效。

因为大多数的生成算法（AIGC）生成的都是干净的脸，而摁鼻子或者摁脸，意味着给人脸增加了遮挡，相关算法可能因为训练时数据不够，从而在生成有遮挡的脸时出现破绽。

但是，一些比较先进的算法已经可以在静态场景下、有局部遮挡的情况下生成画面。也就是说，如果只是摁鼻子或者摁脸，有些算法也能给出以假乱真的效果。

就目前来看，朱凯建议，在摁鼻子或摁脸的同时左右摇晃头部，这样一种动起来的方式识别AI换脸。因为目前很多AI换脸的基础是被模仿者的照片，照片是平面的，生成的“数字人”也是以正面、平面为主。当人脸动起来时，会产生破绽。

此外，中国计算机学会安全专业委员会数字经济与安全工作组成员方宇在接受央视采访时表示，可以要求对方在视频通话的时候，在脸前通过挥手来识别。这种方式会造成面部数据的干扰，伪造视频会出现抖动或闪现等异常情况。在点对点的沟通中，则可以问一些只有对方知道的问题，来验证对方的真实性。

以AI对抗AI

值得一提的是，Deepfake攻和防是一个相对且不断精进的过程，你在进步，Deepfake也在进步，“我们要做的就是跑在它的前面”，ZOLOZ产品总监陶冶这样说道。以AI对抗AI，也就是所谓的“用魔法打败魔法”，是业内在积极践行的。

百度、阿里、腾讯、字节跳动、蚂蚁集团以及科大讯飞等AI头部企业，均在通过开发先进的AI算法和工具，积极提升对深度伪造内容的识别能力。比如，阿里通过分析视频细微特征开发多种算法，字节跳动和科大讯飞则结合内容分析和语音识别技术来维护网络空间的真实性。

此外，蚂蚁数科旗下科技品牌ZOLOZ最近还发布了深度伪造综合防控产品ZOLOZ Deeper，以拦截用户刷脸过程中的“AI换脸”风险，目前已率先应用在身份安全领域。

据介绍，ZOLOZ早在2019年就启动了Deepfake算法研发，彼时主要应对一些简单的人脸攻击，比如把图片、视频、面具等虚假内容呈现在摄像头前面，攻破人脸识别系统。ZOLOZ Deeper是针对注入式、活化等复杂攻击手段迭代而来的产品，在服务印尼某头部银行后，产品上线一个月时间内实现了Deepfake风险“0漏过”。

陶冶披露，ZOLOZ联合蚂蚁安全响应中心设立了超百万的奖金池，支持安全极客来挖掘ZOLOZ Deeper的漏洞，通过“蚂蚁集团安全响应中心”官网提交漏洞情报。“互联网世界没有绝对的安全，希望联合外部的安全技术人才持续提升ZOLOZ的安全水位，守护用户的安全感。”

漏洞悬赏奖金是科技公司“化被动为主动”的安全策略。例如今年有黑客发现特斯拉系统漏洞，赢得20万美元奖金和一辆Model 3；微软曾在2019年送出史上最高一笔漏洞挖掘奖励，总额高达20万美元，称发现这一漏洞为数十亿用户提供了保护。

普通人能做什么？

随着衣食住行都跟各种互联网APP结合，必然会造成对个人信息的采集和收集。2023年8月15日，我国正式施行《生成式人工智能服务管理暂行办法》，从多个方面“划下红线”，其中也提到“不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益”。

对于普通人来说，除了一些辨别AI换脸诈骗的小诀窍，我们都应该注意个人信息的保护，尤其要注意图像、声音、指纹等生物信息的保护，因为AI换脸的数据基础就是被模仿人的照片、视频等。

中国信通院人工智能研究中心安全与元宇宙部主任石霖向TechWeb等表示，在个人信息保护方面，首先建议大家优先使用一些大厂或拥有多年品牌经验的技术产品，它们在遵守监管落实上会比较严格，也有比较好的一些个人信息保护记录和管理经验。

第二，使用APP时尽量减少对个人资料的留存，比如个人照片的上传，尤其是发到社交平台上，所以少发一些朋友圈确实可以减少一些个人信息的采集和搜集。

此外，我们在日常购物或者是去买房租房时，可能也会被采集个人信息。比如，去看下装修，信息一登记，一个月之内各种电话打来推销。这种时候留一个假电话，也能够规避个人信息被泄露的风险。

需要注意的是，在涉及转账汇款、资金往来等场景时，务必第一时间提高警惕，通过回拨对方手机号等额外通信方式核实确认，未经核实不要轻易转账。（周小白）