随着人工智能技术的迅猛发展，AI换脸已经能够做到以假乱真。当AI技术被不当使用，用户该如何识破骗局？监管如何跟上技术发展？

张文宏回应“被AI带货”：已多次投诉 但违规账号屡禁不止

在带货视频中，被合成的人像反复介绍一种产品，声音听起来很像张文宏本人。一些老人信以为真，不仅下了单，还呼朋引伴来购买。对此， 张文宏回应称，这样的卖货账号不止一个，而且一直在变，他多次向平台投诉但屡禁不绝。

目前，用语音合成来模仿他人声音，生成视频的技术已经非常成熟，甚至仅用一张照片就能生成此类视频。

工信部信息通信经济专家委员会委员盘和林表示：“AI技术冒充名人带货、诈骗越来越多，这里的关键不在AI，而是要及时处理利用AI冒充他人的内容发布者。冒名顶替、虚假宣传、破坏名人肖像权、利用名人的公信力来牟利，这些行为会给名人带来风险，也会成为诈骗分子的温床。”

工信部反诈工作专班专家李坤介绍，在网上，耳听眼见不一定为实。“拟声”“换脸”等合成技术的一大特点是以假乱真，不法分子可以利用此类技术轻易伪装成他人，并通过快速筛选目标人群、精准制定诈骗脚本。

“不法分子通过各种公开渠道获取受害人的个人肖像或视频，然后利用AI技术对受害人面容特征进行学习，模仿眨眼、摇头等动作，实现以假乱真的效果。”李坤说。

虽然目前AI“换脸”和“仿声”有一定的技术门槛和较高的实现成本，但如果被不法分子掌握，就可能在即时通信或者社交软件上伪装他人，开展诈骗活动。

据了解，AI换脸主要使用深度合成技术。在我国， 《互联网信息服务深度合成管理规定》提出，要求深度合成服务提供者对深度合成的内容添加显式或隐式水印。

中国信通院人工智能所安全与元宇宙部专家陈文弢介绍，水印的本质就是提示公众这个内容是由AI合成的，另一方面也是为了追溯来源。

在点对点的沟通过程中，可以问一些只有对方知道的问题，以此来验证对方的真实性。

但值得注意的是，以上鉴别方式都是基于现有算法的局限性。未来随着AI技术的发展，这类AI变脸技术有可能更具迷惑性。

监管如何跟上技术发展？

快速发展的AI技术带来了相关信息的爆炸式增长，造成了AI信息甄别困难。因此，治理也应当提速，跟上技术发展的步伐。

工信部信息通信经济专家委员会委员盘和林称，目前受害人维权困难， 一方面是由于缺少简化诉讼的渠道，另一方面是平台在处理此类维权问题时，不配合、不积极。“下一步， 既要疏通当事人维权渠道，也应要求平台完善算法，及时发现问题视频，增加平台监管内容的责任义务。”

中国互联网协会研究中心副主任吴沈括表示：“从治理角度来讲，需要考虑整体的技术准入，包括良性技术解决方案的设计研发和选用。从社会组织管理角度来说，这对我们优化社会治理提出了新要求，在这个过程中，各种可信任的验证机制建设成为非常紧迫的话题。”

此外，吴沈括认为 每一个人都应该提高警惕，从自身出发，在日常生活中做好防范。