防不胜防，10分钟就被AI骗走430万元！这是近日震惊全网的真实诈骗案件。话题#AI诈骗正在全国爆发#冲上网络热搜,和你通过社交软件视频对话的,可能不是你认识的那个人本人,而是经过AI伪装的骗子！

近期，内蒙古自治区包头市公安局电信网络犯罪侦查局发布了一起使用AI技术进行电信网络诈骗的案件。不法分子利用AI技术，通过声音合成，伪造成特定人物的声音，通过AI换脸，伪装成特定人物，实时与他人进行视频通话。更换后的面部表情自然，以假乱真，能够冒充他人身份联系被害人，博取被害人信任后实施诈骗。见多识广的科技公司法人代表短短10分钟内就被骗了430多万元。

今年以来，ChatGPT和GPT-4等技术的应用成为信息科技领域的热点，引起公众对AI技术的广泛关注。但伴随深度合成技术的开放开源，深度合成产品和服务逐渐增多，利用“AI换脸”“AI换声”等虚假音视频进行诈骗、诽谤的违法行为屡见不鲜。

AI诈骗和普通电信网络诈骗有何不同，有哪些常用手法，普通人该如何进行防范？“AI换脸”的法律边界在哪？面对人工智能技术这把“双刃剑”，电信网络诈骗治理工作又该如何应对？记者本期将带您走进AI新骗局进行解读。

整治AI诈骗 用“法”打败“魔法”

针对技术手段日益更新的AI诈骗事件，2022年11月25日，国家互联网信息办公室、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》（以下简称《规定》），自2023年1月10日起施行。国家互联网信息办公室有关负责人表示，出台《规定》，旨在加强互联网信息服务深度合成管理，弘扬社会主义核心价值观，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益。

近年来，深度合成技术快速发展，在满足用户需求、改进用户体验的同时，也被一些不法人员用于制作、复制、发布、传播违法和不良信息，诋毁、贬损他人名誉、荣誉，仿冒他人身份实施诈骗等，影响传播秩序和社会秩序，损害人民群众合法权益，危害国家安全和社会稳定。出台《规定》，是防范化解安全风险的需要，也是促进深度合成服务健康发展、提升监管水平的需要。

《规定》明确了深度合成数据和技术管理规范。要求深度合成服务提供者和技术支持者加强训练数据管理和技术管理，保障数据安全，不得非法处理个人信息，定期审核、评估、验证算法机制机理。深度合成服务提供者对使用其服务生成或编辑的信息内容，应当添加不影响使用的标识。提供智能对话、合成人声、人脸生成、沉浸式拟真场景等生成或者显著改变信息内容功能的服务的，应当进行显著标识，避免公众混淆或者误认。要求任何组织和个人不得采用技术手段删除、篡改、隐匿相关标识。

近几年，很多国家针对“深度伪造”等新技术，出台了相关法律法规或管理办法。我国从2019年11月起，先后出台《网络音视频信息服务管理规定》《网络信息内容生态治理规定》等法律法规，对生成合成类内容等提出监管要求。近期，也有平台和企业发布了“关于人工智能生成内容的平台规范暨行业倡议”，明确禁止利用生成式人工智能技术创作、发布侵权内容，包括但不限于肖像权、知识产权等，一经发现，平台将严格处罚。

要将这些规定执行到位，还需要有关部门加大网络安全执法力度，不断完善日常监督检查和定期检查相结合的监督管理制度，推动网络平台履职尽责，有效规范涉及深度合成技术应用的行为。

当骗子用起了AI技术……

技术改变了生活，也改变了诈骗。AI诈骗现在有多凶猛？目前包括北京反诈、武汉市反电信网络诈骗中心等官方公众号平台，都警告了AI技术新骗局的严重性，甚至表示“诈骗成功率接近100%”。

AI诈骗是指不法分子利用AI技术合成声音、视频、图片等方式进行诈骗。常见手法主要有四种：第一种，转发微信语音。骗子在盗取微信号后，向该微信号的好友提出转账要求。为取得信任，骗子会转发之前的语音，进而获得钱款。虽然目前微信语音是不能转发的，但骗子可以通过提取语音文件或安装增强版微信（插件），实现语音转发。第二种，声音合成。骗子通过骚扰电话等方式，录音提取某人的声音，并对素材进行合成，用伪造的声音实施诈骗。第三种，AI换脸。视频通话的可信度明显高于语音和电话，利用AI换脸，骗子可以伪装成任何人。骗子基于公众发布的照片、视频，通过人体图像合成技术，生成假脸。多数假脸都是使用睁眼照片合成的，假脸极少甚至不会眨眼，看是否眨眼是判断一个视频真假的好办法。第四种，通过AI技术筛选受骗人群。骗子利用AI来分析公众发布在网上的各类信息，根据所要实施的骗术对人群进行筛选，在短时间内便可生产出定制化的诈骗脚本，从而实施精准诈骗。

在最近发生的几起AI诈骗事件中，“深度伪造”技术deepfake在其中起到了非常关键的作用。如今随着AIGC（AI generated content，人工智能生成内容）技术的大爆发，普通人接触各种先进生成工具变得不费吹灰之力，制作出越发难以识别的高质量deepfake视频也越来越容易，我们想要一眼识别出来这些造假内容就更加困难。

“花式”AI诈骗来袭如何防范

面对利用AI等新型手段的诈骗，我们要牢记以下几点：

首先，避免占便宜心理，警惕陌生人提供的好处。在涉及钱款时，要提高安全意识，通过电话、视频等方式确认对方是否为本人。在不能确定真实身份时，可将到账时间设定为“2小时到账”或“24小时到账”，以预留处理时间。此外，可以选择向对方银行卡汇款，避免通过微信等社交工具转账。这样做，一方面便于核实对方信息，确认钱款去向；另一方面，对方能通过短信通知得知转账信息。

其次，加强个人信息保护意识，尽量减少在社交平台上发布图片、视频等内容。不轻易提供人脸、指纹等个人生物信息给他人，不过度公开或分享动图、视频等。防止骗子利用AI技术掌握大量个人信息并对人物性格、需求倾向等进行刻画，从而有针对性地实施诈骗。

最后，防患于未然，及时做好家中老人的宣传防范工作。提醒、告诫老年人在接到电话、收到短信时，只要是不认识、不熟悉的人和事，均不要理睬，以免被诱被骗。不要轻易透露自己的身份证、银行卡、验证码等信息，陌生链接不要点，陌生软件不要下载，陌生好友不要随意添加，不明二维码不要随意扫描。管理好自己的朋友圈，也不要轻易向陌生人开启手机屏幕共享。

这场与AI诈骗的对抗，光靠个人增强安全意识还远远不够。银行、支付平台、软件厂商等更要提高信息安全意识，国家层面也要尽快出台更为安全和完善的对不良AI内容的监管政策。只有各方共同努力，这样的热搜才能越来越少。

面对AI技术“双刃剑”如何应对

在电信网络诈骗治理领域，人工智能技术“双刃剑”效应明显，治理与诈骗技术对抗日趋激烈。

一方面，人工智能技术不断促进治理能力提升。一些机构和企业积极利用大数据分析、机器学习等人工智能技术开展诈骗治理和风险防控工作，技术识别准确度更高、监测拦截实时性更强、防护覆盖面更大，有效降低了诈骗风险与危害。

例如在反电信网络诈骗专用号码96110的背后，中国电信织就了一张紧密的“反诈密网”，基于云、人工智能、大数据等技术，打造了“翼平安反诈”云平台，支撑公安机关96110反诈产品的应用与服务。96110“翼平安反诈”服务以AI能力为核心，以能力平台为载体，融合人工外呼、机器人外呼、大数据短信等触达手段实现受众的精准触达，涉诈人群早告知、防诈信息早预警，降低人民群众因涉诈案件造成的损失，为保障人民群众财产安全、提升社会安全贡献力量。

中国联通充分发挥IT集约和数据集中优势，率先建立集团级大数据反诈平台，基于全网集中的话单和信令数据，不断提升运算能力，缩短处置时延，实现涉诈号码精准发现、一点快速处置，成为工信部网络安全试点示范项目。同时建立AI反黑产实验平台，探索网络黑灰产识别能力，积极加大跨行业数据合作力度，健全完善多主体参与、多手段结合的综合治理格局，持续净化网络环境。

中国移动浙江公司研发出“谛听”电信网络反欺诈平台，利用AI反诈骗模型，把传统的事后追溯反诈手段升级到事前预警手段，有效预先阻断网络欺诈行为。用户在上网过程中，可能会毫无察觉地被非法网站窃取相关信息，而“谛听”平台的AI机器人可以锁定非法网站资源库，第一时间判断可能出现的诈骗行为，对用户及时地发出警示，提醒被害人和公安部门。

另一方面，人工智能技术被恶意利用带来风险隐患。诈骗分子利用人工智能技术精准筛选受骗者，精心设计诈骗脚本，伪造高仿真诈骗信息，使得诈骗呈现成本低、花样新、波及广等特点，隐蔽性、复杂性、迷惑性增加，引起社会的关注和担忧。

当前，电信网络诈骗犯罪出现一些新特点，诈骗集团除了利用GOIP设备（一种虚拟拨号集成通信设备）外，还利用区块链、虚拟货币、AI、远程操控、共享屏幕等新技术新业态，不断更新升级犯罪工具，与公安机关在通信网络和转账洗钱等方面的攻防对抗不断加剧升级。

自2022年12月1日起，正式施行的《中华人民共和国反电信网络诈骗法》第二章专章规定了电信领域的治理，主要涉及电话用户实名制管理，移动电话卡治理，规范国际通信业务出入口局主叫号码传送，非法设备、软件的治理等，成为电信企业反诈骗的行动指南。

《中华人民共和国反电信网络诈骗法》第二十五条第二款要求，电信业务经营者、互联网服务提供者应当依照国家有关规定，履行合理的注意义务，重点对利用以下四类业务从事涉诈支持、帮助活动进行监测识别和处置：一是提供互联网接入、服务器托管、网络存储、通讯传输、线路出租、域名解析等网络资源服务；二是提供信息发布或者搜索、广告推广、引流推广等网络推广服务；三是提供应用程序、网站等网络技术、产品的制作、维护服务；四是提供支付结算服务。

当前我国在电信网络诈骗治理工作上取得了明显成效，但是面对人工智能时代电信网络诈骗的高隐蔽性、高危害性等特点，当前治理工作仍然存在着一定的问题与短板：法律法规尚需完善、管理范围仍需延伸、技术反制能力亟待提高、社会宣传引导仍需加强、协同精准治理力度有待加大等。需坚持发展与治理并重的思路，发挥法律、监管、技术、宣传、协同多方面综合治理能力，有效应对人工智能时代下的电信网络诈骗的治理问题，切实维护人民群众财产安全和利益。

正如同硬币的正反两面，每一次技术变革在带来福祉的同时，也经常伴随风险。风险促使我们深入思考，但不能因噎废食。要因势利导，使其趋利避害，应是全行业未来努力的方向。(记者 郭佳)