在Sora诞生之前，AI“深度伪造”技术已经在海内外引发担忧，知名明星与跨国公司相继成为AI“深度伪造”的受害者。今年1月底，明星泰勒·斯威夫特（Taylor Swift，中文绰号“霉霉”）大量虚假“不雅照片”在社交平台上传播。此事震动美国白宫，并掀起一波关于人工智能的担忧。2月4日，据香港文汇报报道，有诈骗集团利用AI“深度伪造”技术向一家跨国公司的香港分公司实施诈骗，并成功骗走2亿港元，这也是香港迄今为止损失最大的“换脸”案例。

诸如此类的案例越来越多，人工智能带来的新型焦虑正在形成。瑞莱智慧Real AI联合创始人&算法科学家萧子豪在接受《每日经济新闻》记者采访时就表示，他们判断，2024年这种利用AI“深度伪造”技术实施的诈骗案件会进一步增加，因为“深度伪造”技术工程化落地速度很快，“即使是不了解技术的普通人，也能够制作‘深度伪造’的内容”。

“深度伪造”一词译自英文“Deepfake”（deep learning和fake的组合），现亦称深度合成（Deep Synthesis）。“Deepfake”诞生于美国。2017年，美国一名为Deepfake的用户在社交网站Reddit上发布了一则与知名演员有关的伪造视频，这项技术随后被迅速应用到多个领域，包括色情、政治、广告、娱乐等。

上海合合信息科技股份有限公司（以下简称“合合信息”）图像算法研发总监郭丰俊告诉《每日经济新闻》记者，在国内，“深度伪造”技术有积极应用，也有负面应用。

积极应用往往在于：一、个人娱乐。一些APP可为用户提供艺术照模板，通过换脸形式生成用户照片，用户足不出户也能“拍”出好看照片。此外，“深度伪造”技术也可用于制作搞笑视频、模仿名人表演，但这可能涉及版权和道德等问题；二、教育。Deepfake技术合成的历史人物讲解视频让教学更有趣味性；三、影视制作。如电影、电视剧及综艺节目中演员换脸，纪录片中为保护参演者隐私和安全而换脸等；四、医疗。医院描述或诊断患者面部肌肉疾病时，如果将患者人脸打马赛克，就看不出面部症状，这时应用Deepfake技术，可把病人视频里的脸，换成一张假脸，既可以保留人脸的运动信息，亦保护了病人隐私；五、艺术。比如有美术馆利用Deepfake技术让已故的艺术家“现身”讲述自己的故事和作品等。

但现实生活中，“深度伪造”技术也被广泛应用于诈骗、色情等非法场景。比如，一些不法分子借助“深度伪造”技术散布虚假视频，甚至制造虚假新闻，危害社会；随着视频换脸技术门槛降低，别有用心之人利用“深度伪造”技术可以轻易盗用他人身份，实施商业诋毁、敲诈勒索、网络攻击和犯罪等。

记者注意到，目前，海内外均有大量由“深度伪造”技术引发的深度造假案例，这些案例普遍造成了不小的负面影响。

比如，近日被传出大量虚假“不雅照”的泰勒·斯威夫特。据报道，泰勒·斯威夫特正考虑对生成这些图片的网站采取法律行动。1月26日的美国白宫记者会上，发言人让-皮埃尔被问及此事时表示：“我们对此类图像流传感到担忧，更确切地说，是虚假图像，这令人担忧。”据澎湃新闻报道，这不是泰勒·斯威夫特第一次被AI“造假”。在这次“不雅照”事件前不久，一则由人工智能生成的泰勒·斯威夫特带货广告在海外社交媒体上传播。这则虚假广告利用“深度伪造”技术，合成“霉霉”的声音，并将声音及她的形象和某品牌炊具广告片段拼凑在一起，以“霉霉”身份宣称免费向粉丝赠送炊具，引导受害者点击并支付9.96美元运费，但炊具不会真的送出去。

泰勒·斯威夫特深受“深度伪造”困扰的背后，女性正成为不法分子实施侵害的重要目标群体，他们利用“深度伪造”技术制造各种女性不雅视频、图片牟利。据网络安全研究机构Sensity在2020年秋季发布的报告，在Telegram的应用中，至少有10.48万名女性“被裸体”，而在分发这些照片的7个频道中，累计用户超过10万。根据Sensity的追踪调查，Telegram应用中超七成的使用者表示他们上传的照片是通过社交平台，或其他私人渠道取得的。

英国Wired杂志于2020年发布的一篇报道也曾指出，2020年7月以来，至少有10万名女性被“深度伪造”应用DeepNude（深度伪造软件，现已下架）创建了裸照，其中一些人不到18岁。

一些国家的政客也成为不法分子制造虚假视频的对象。1月21日，美国新罕布什尔州一些选民称接到了“拜登总统”的自动留言电话，告诉接听者不要在该州初选中投票。美国白宫新闻秘书卡琳·让-皮埃尔（Karine Jean-Pierre）次日回应称：“那通电话确实是假的，（拜登）总统没有录音。我可以证实这一点。”

更严重的还有，Deepfake甚至参与到了战争当中，成为“新型武器”。2022年3月，一条乌克兰总统弗拉基米尔·泽连斯基（Volodymyr Zelensky）的“视频”被广泛传播，在该视频中，泽连斯基呼吁乌克兰士兵放下武器投降。事件发生后，乌克兰国防部在其海外社交媒体官方账号发布了泽连斯基的视频，并配文称：“请注意，这是不可能的。”

在国内，中国香港近期发生了一起规模庞大的AI“深度伪造”诈骗案。诈骗者通过搜集一家跨国公司英国高层在YouTube上的公开影像，再利用AI“深度伪造”技术，给诈骗者换上公司高层的面部和声音，从而实施诈骗，并成功从香港分公司骗走2亿港元。这起巨额诈骗案发生前，今年1月中下旬，香港特别行政区行政长官李家超也成为“深度伪造”的目标。网上出现了用人工智能伪造的电视节目片段，冒称李家超向市民推介一项高回报的投资计划。特区政府立即严正澄清，称有关影片全属伪造，行政长官从未作出相关言论。

去年5月初，内蒙古包头市公安局电信网络犯罪侦查局发布一起使用智能AI技术进行电信诈骗的案件。福建省福州市某科技公司法人代表郭先生的“好友”突然通过微信视频联系他，声称自己的朋友在外地投标，需要430万元保证金，想借用郭先生公司的账户走账。基于视频聊天信任的前提，郭先生并未核实钱是否到账，就陆续转给对方共计430万元，之后郭先生才发现被骗。

个人娱乐方面，北京市中闻（长沙）律师事务所律师刘凯告诉《每日经济新闻》记者，2022年8月，成都铁路运输第一法院曾一审审理了一批使用“AI换脸”App程序侵害他人肖像权的案件。古风汉服网红魏某起诉了4家运营AI换脸软件的公司，认为对方在自己未授权的情况下上传包含她肖像的视频作品，生成AI换脸视频，侵犯了其肖像权。记者了解到，国内之前涌现过一批换脸APP，但这些APP中有部分目前已经被下架，如ZAO、去演等。

“深度伪造”是指利用深度学习技术生成合成图像、音频或视频的技术。由于公众人物的视频、音频、图片资料的公开性，为AI训练提供了大量素材，因此，这些名人频繁成为AI造假的“受害者”。从技术原理上看，“深度伪造”的实现主要依赖于深度神经网络，特别是生成对抗网络（GAN）。通过训练大量的面部图像数据，“深度伪造”模型能够学习面部特征之间的潜在关系，并生成与真实面部特征高度相似的虚假面部特征。

郭丰俊告诉记者，“深度伪造”与国内常见的“AI换脸”不能等同，后者只是前者的一种典型应用形式。“当谈到Deepfake技术时，国内和国外的研究团队都已经达到相当高的技术程度。相较于国内，国外拥有更多的应用程序和网站，这些平台提供了更多Deepfake制作工具，使用户能够相对容易地生成和分享Deepfake内容。”