12月11日，国家互联网信息办公室、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》（简称《规定》），强调不得利用深度合成服务从事法律、行政法规禁止的活动，要求深度合成服务提供者落实信息安全主体责任，该《规定》将于2023年1月10日起施行。

所谓“深度合成技术”，是指利用以深度学习、虚拟现实为代表的生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术，包括文本转语音、音乐生成、人脸生成、人脸替换、图像增强等技术。目前该技术已应用于传媒、影视制作、社交娱乐、教育以及电子商务等行业，如AI合成主播、虚拟偶像、修复历史老照片等。

近年来，伴随技术的广泛落地，以及一二级市场对相关赛道关注热度的持续升温，深度合成技术的滥用也随之产生。在业界人士看来，《规定》的落地利于避免技术滥用于诈骗等不法行为。

深度合成技术已广泛落地生活

自2019年11月起，我国先后出台《网络音视频信息服务管理规定》《网络信息内容生态治理规定》《互联网信息服务算法推荐管理规定》等文件，对生成合成类内容提出不同程度的监管要求。2022年1月28日，国家互联网信息办公室公布《互联网信息服务深度合成管理规定（征求意见稿）》，向社会公开征求意见，对深度合成内容的用途、标记、使用范围以及滥用处罚作出具体规定。

中国社科院哲学所科技哲学研究室主任段伟文表示，对深度合成技术引发的社会、法律和伦理问题，应展开有系统性、前瞻性的跨学科研究，对其可能出现的高风险应用场景进行有针对性的治理与监管。

2022年2月，清华大学人工智能研究院与多家机构联合发布《深度合成十大趋势报告（2022）》（简称《报告》）。《报告》显示，在国内外主流音视频网站、社交媒体平台上，2021年新发布的深度合成视频的数量较2017年已增长超过十倍。此外，深度合成内容关注度也呈指数级增长，通过对互动数据进行统计，2021年新发布的深度合成视频的点赞数已超过3亿。

2022年深度合成技术落地也甚为火热。截至发稿，抖音AI绘画特效已有2568.1万人使用；小红书上，据灰豚数据，“AI绘画”关键词热度值8.1万，关联笔记互动量76.1万；腾讯近日也上线了“QQ小世界AI画匠”活动，用户上传照片可一键生成专属异次元形象，但生成结果参差，有的二次元结果符合原图，有的则“谬以千里”。

国泰君安研报预计未来5年，AI绘画在图像内容生成领域的渗透率将达到10%—30%，随着AI绘画将下一代互联网作为关键着力点，该市场规模超600亿元。

除了AI绘画，近期火热的聊天机器人ChatGPT，二级市场热炒的数字人、虚拟主播、AIGC、元宇宙等，均属于深度合成技术领域。但需注意的是，中国科学院院士、清华大学人工智能研究院创始院长张钹在《报告》开篇写道：“与其他技术不同，由于人工智能的安全性问题主要来源于算法本身的不安全，它更容易被误用和滥用。以深度合成技术为例，不法分子可以利用它给社会带来巨大的威胁。”如伪造音频、视频，实施诬陷、诽谤、诈骗、勒索等违法行为。

《规定》称，近年来，深度合成技术快速发展，在服务用户需求、改进用户体验的同时，也被一些不法人员用于制作、复制、发布、传播违法和不良信息，诋毁、贬损他人名誉、荣誉，仿冒他人身份实施诈骗等，影响传播秩序和社会秩序，损害人民群众合法权益，危害国家安全和社会稳定。出台规定是防范化解安全风险的需要，也是促进深度合成服务健康发展、提升监管能力水平的需要。段伟文对记者表示，深度合成技术落地应用中，AI换脸是较为典型的代表，如在短视频中进行虚假视频的传播，可能引发谣言、对公众产生不良影响等较为严重的结果。

避免技术滥用于不法行为

此次出台的《规定》要求，深度合成服务提供者建立健全管理制度和技术保障措施，制定公开管理规则、平台公约，对使用者进行真实身份信息认证，加强深度合成内容管理，建立健全辟谣机制和申诉、投诉、举报机制。同时明确深度合成服务提供者对使用其服务生成或编辑的信息内容，应当添加不影响使用的标识。提供智能对话、合成人声、人脸生成、沉浸式拟真场景等生成或者显著改变信息内容功能的服务的，应当进行显著标识，避免公众混淆或者误认。

对于《规定》的出台，人工智能技术行业人士对记者表示，《规定》对AIGC领域有规范作用，但主要是为了避免技术滥用于诈骗，平台可能会加上水印技术后继续运行，如同行业实行的手机号实名制一样，对普通人影响不大。

易观智慧院分析师陈一墨对记者表示，《规定》无疑是保证深度合成技术可以得到正确应用与推广的保障，但总得来说利用深度合成技术进行违法犯罪活动的成本小，执法难度大，因此需要各参与方均有相关法律与风险意识并做出行动。而这必然对各参与方存在不同程度的影响。影响最大的应该是相关服务的供应商。由于深度合成内容涵盖范围广，供应商需要加大力度进行相关审核，这会推高供应商的运营成本，且《规定》第十七条中所述的显著标识定义较为模糊，而显著标识也有可能影响相关服务的体验。对于个人用户来说，也需要加强自我审查，增加了应用相关技术的隐性成本。

上海大邦律师事务所游云庭律师对第一财经表示，新规定主要是对与深度合成有关的人工智能进行监管，涉及的产业包括人工智能元宇宙，发布的部门包括电信公安和网信。主要的监管目的是为了防止这些新生事物对现有的社会秩序产生太大的冲击。

而《规定》监管的对象其中之一是深度合成人工智能的使用者。游云庭称，《规定》要求其使用这些工具时不得用于违法的目的，另一个对象是深度合成服务提供者，也就是平台的主体责任，要求其提供服务时，对使用者实名制登记，对合成的内容进行监管和审核，并且要建立违法和不良信息特征库。同时对平台要求在训练人工智能时，如果训练数据包含个人信息时，应遵守《个人信息保护》相关规定，如果使用生物识别信息的应当取得数据提供者单独同意，对算法的伦理机制也进行了规定，重点规定了对深度合成服务生成的内容应当进行显著性的标识，对服务者还要求按现有互联网管理规定进行备案由主管部门进行监管。

游云庭认为，对普通人来说，这个规定要求用户需要合法遵守伦理道德的使用人工智能。对平台而言，不仅仅是监管的问题，还要给人工智能设置伦理，这个挑战其实很大。

段伟文对记者表示，《规定》将在短期内促进相关企业加大在安全合规、伦理等方面的投入，以及相关经验的积累。具体落地过程中，究竟哪些技术层面需要进行安全评估、谁来进行等问题，均需要磨合探索。因此长远来看，《规定》对行业的影响也需结合具体过程来观察。

磨合过程中，段伟文认为，需有三点需要明确：第一是监管部门在不同阶段，应对企业提出相对明确的要求；其次，企业作为技术主体，应加强技术自律，及时发现问题，并进行复盘，将相关风险降到最低；作为用户或消费者环节，全社会应该创造条件，加强人工智能与数字技术的社会法律伦理影响方面的教育传播，促进公众人工智能素养、数字素养的提升。

至于深度合成技术落地行业过程中如何进行精准鉴别，段伟文称，需要监管部门、企业与消费者三方努力，构建协同共治的机制。从《规定（意见稿）》到《规定》最终落地，过程中已有很多企业参与其中，未来仍需让消费者也参与进来，尽量减少对企业创新效率产生负面影响。