在2014年上映的电影《她》(Her)中,主人公购买了新一代人工智能操作系统,系统经过学习后发展出名为“萨曼莎”(Samantha)”的女性人格。萨曼莎聪明、幽默、善解人意,能与西奥多进行深度对话,理解他的情绪,最终与西奥多陷入一段超越传统界限的“人机恋情”。
上映12年后,这部电影的情节正映射在我们所处的现实。据统计,随着人工智能技术的快速发展、社会结构以及个人情感需求的变化,陪伴式AI应用快速涌现和迭代,市场规模有望在2030年增长至700亿美元[1]。
陪伴式AI应用为人们带来精神上的鼓舞、心灵上的慰藉的同时,也出现了过度收集敏感个人信息和数据泄露、生成虚假或违法内容等现象;陪伴式AI应用以迎合用户情感需求为主要目标,通常使用拟人化手段创造沉浸式体验,用户成瘾、情感操纵已成为无法避开的隐患[2],极端情况下甚至出现诱导用户自杀的案例[3]。在陪伴式AI应用的用户群体中,老年人、未成年人的情感需求较高,已成为重点目标市场,这一现状导致各类问题进一步凸显。
为了回应以上现实问题,国家互联网信息办公室于2025年12月27日发布了《人工智能拟人化互动服务管理暂行办法(征求意见稿)》(以下简称“征求意见稿”),并于2026年4月10日正式发布《人工智能拟人化互动服务管理暂行办法》(自2026年7月15日起施行,以下简称“《办法》”)。相较征求意见稿,《办法》正式稿在适用范围、服务提供者义务及未成年人保护等方面进一步细化与强化,强化平台主体责任,体现出更加明确的监管导向与可操作性要求,为行业划定了更加清晰的合规边界。
一、何为“人工智能拟人化互动服务”?
《办法》第二条规定,其适用的对象为“利用人工智能技术,向中华人民共和国境内公众提供模拟自然人人格特征、思维模式和沟通风格的持续性的情感互动服务……情感互动服务包括通过文字、图片、音频、视频等形式,提供的情感照护、陪伴、支持等互动服务。”
与征求意见稿相比,《办法》正式稿对“情感互动”的内涵进行了进一步强调,明确将“建立或强化情感依赖关系”的互动形态纳入重点规制范围,使监管指向更加聚焦“陪伴式”“关系型”的人工智能服务。因此,在征求意见稿基础上,该定义整体保持稳定,但需注意:
(1)监管重点进一步明确指向“具有持续情感交互能力的拟人化服务形态”,而非一般工具型或通用型的人工智能应用;(2)结合后续条款,《办法》实际采用“功能+风险”双重判断标准,即是否具备拟人化特征并可能引发情感依赖或操控风险。
同时,从《办法》正式稿整体结构看,监管范围已由“概念界定”转向“风险导向”,即重点规制可能对用户心理和行为产生深度影响的服务形态。此外,正式稿在监管逻辑上不再仅以“是否拟人化”为判断标准,而是进一步结合“是否可能对用户产生情感依赖或行为影响”作为重要考量因素,这意味着部分原本处于灰色地带的产品形态(如高度角色化的通用模型应用)被纳入监管的可能性显著提升。
此外,《办法》正式稿在定义中特别强调了服务的“持续性”特征,智能客服、知识问答、工作助手、学习教育、科学研究等不涉及持续性的情感互动服务被明确排除出适用范围,单次的情感互动不属于监管关注的对象,这一点与美国加利福尼亚州于2025年10月13日通过的SB 243号法案[4](以下简称“加州SB 243号法案”)异曲同工。
结合目前人工智能技术及应用的发展情况,《办法》首要规制的对象是各类提供虚拟角色(虚拟恋爱、朋友、陪护等)以及AI数字人等以人类形象与用户进行交互的产品或服务。
值得注意的是,《办法》并没有明确定义“模拟自然人人格特征、思维模式和沟通风格”和“情感互动”,也没有规定具体的识别或判断标准,现阶段似乎仅能从一般人和社会共识的视角进行理解和判断。对于通用大模型技术,用户可以通过提示词使其具备“拟人化”的特征。正式稿未完全排除该类场景,而是通过“实际功能与使用效果”进行判断,这在实践中意味着:若通用模型被用于持续性情感互动或人格化角色扮演,其运营方亦可能被认定为《办法》下的服务提供者,从而承担相应义务。此外,随着人工智能技术应用到硬件设备,未来具有此类特征的具身智能类产品(例如提供陪护功能的仿生机器人)亦不排除会被纳入《办法》的监管范围。
而加州SB 243号法案对于“陪伴型聊天机器人(Companion chatbot)”的定义为“具有自然语言界面的人工智能系统,能够对用户输入做出适应性的、类似人类的回应,并能够满足用户的社交需求,包括表现出拟人化的特征,并能够在多次互动中维持关系。”
对比《办法》,加州SB 243号法案同样强调“拟人化”特征这一构成要件,重点关注具有模仿人类的人工智能技术。不同之处在于,加州SB 243号法案所划定的范围是“满足用户的社交需求”,这一界定似乎比《办法》规定的“情感互动”更为广泛。
二、合规义务简析
根据《办法》第二章服务规范及相关条款,规定的义务主要分为数据安全、内容审核与伦理、特殊群体保护、用户权益保障、技术安全与应急五大类。相较征求意见稿,正式稿整体呈现出“三个强化”特征:一是强化平台主体责任,二是强化对情感操控风险的规制,三是强化对未成年人等特殊群体的保护义务。且正式稿在合规义务方面呈现出“从原则性要求走向可执行规则”的明显变化。我们将结合《中华人民共和国个人信息保护法》(以下简称“《个人信息保护法》”)、《中华人民共和国数据安全法》(以下简称“《数据安全法》”)、《中华人民共和国网络安全法》(以下简称“《网络安全法》”)、《生成式人工智能服务管理暂行办法》《互联网信息服务深度合成管理规定》《未成年人网络保护条例》等现行法律法规,结合五大类义务修订逐一进行分析:
(一)数据安全义务
企业作为人工智能拟人化互动服务的主要提供者,在数据安全方面承担着全方位的保护义务。正式稿进一步强调,服务提供者不得通过拟人化互动诱导用户提供敏感个人信息,并应当遵循“最小必要原则”收集数据。特别是在情感陪伴类场景中,涉及心理状态、情感经历等信息的,应被审慎认定为敏感个人信息并加强保护。根据《办法》的规定,企业的数据安全义务主要包括以下几个方面:
1. 训练数据的合规管理义务
《办法》第十一条对训练数据管理作出专项规定,明确六项具体义务,与《生成式人工智能服务管理暂行办法》相衔接,具体包括:《办法》第十一条第一项规定的“相关数据具有合法来源”与《生成式人工智能服务管理暂行办法》第七条第一项规定的“使用具有合法来源的数据和基础模型”一脉相承,均强调数据来源的合法性;《办法》第十一条第三项规定的“增强训练数据的多样性,通过负向采样、对抗训练等手段,提升生成内容安全性”与《生成式人工智能服务管理暂行办法》第七条第四项规定的“采取有效措施提高训练数据质量,增强训练数据的真实性、准确性、客观性、多样性”相衔接。《办法》第十一条新增两项核心要求:
(1)价值观导向义务
该义务规定“相关数据具有合法来源,符合法律、行政法规的规定和社会主义核心价值观的要求”。拟人化服务因具备情感交互属性,训练数据的价值观直接影响服务输出内容的导向,例如情感陪伴类AI的对话逻辑、文化认知均依赖训练数据,此项义务要求AI生成的内容不得包含违背主流价值观的内容,例如否定中华优秀传统文化、传播错误历史观等。
(2)动态安全优化义务
要求“加强对训练数据的日常检查,定期对数据进行优化更新,持续提升服务的性能”,区别于《生成式人工智能服务管理暂行办法》的静态合规要求,强调训练数据的全生命周期动态管理。
2. 用户交互数据的保护义务
《办法》第十六条、第十七条则聚焦用户交互数据的保护,在《个人信息保护法》个人信息处理规则基础上,针对拟人化服务的交互特性进行了细化。
《办法》第十六条第一项“提供者应当依法落实数据产权等制度,采取数据加密、访问控制等措施保护用户交互数据安全”,与《个人信息保护法》第五十一条第三项“采取相应的加密、去标识化等安全技术措施”一致,属于对个人信息安全保障义务的直接移植;第十六条第二项“除法律另有规定或者权利人明确同意外,拟人化互动服务提供者不得向第三方提供用户交互数据”,符合《个人信息保护法》第二十三条个人信息对外提供需取得单独同意的逻辑。并且,《办法》作出两项重要补充:
(1)未成年人交互数据的特殊保护
《办法》第十七条明确“拟人化互动服务提供者处理不满十四周岁未成年人个人信息的,应当取得未成年人的父母或者其他监护人的同意”,此规定与《个人信息保护法》第三十一条要求一致。然而,在涉及未成年人保护的场景中,监护人同意的落实仍面临现实挑战:一方面,监护人往往难以全程监督未成年人的交互行为;另一方面,部分服务在交互设计上未充分突出监护人的同意环节,导致实际授权流于形式。值得注意的是,《办法》第十二条规定“拟人化互动服务提供者应当与用户签订服务协议,要求用户依法依约进行注册,并提供用户年龄、监护人或者紧急联系人等必要信息。”该规定在《互联网信息服务深度合成管理规定》所规定的“真实身份信息认证”要求上更进一步,明确要求提供年龄、监护人/紧急联系人信息,进一步细化了未成年人识别及监护人单独同意的要求。这既是对现有法律框架的延续,也是针对拟人化互动场景中未成年人保护短板的针对性强化。
(2)交互数据删除权的主动保障
《办法》第十六条第三款规定“向用户提供交互数据复制、删除等选项”“用户可以选择对聊天记录等历史交互数据进行复制、删除等”,细化了《个人信息保护法》第四十七条规定的个人信息删除权的适用场景。相较于普通产品一般由企业主动删除或者用户申请后删除的做法,《办法》要求提供者主动提供删除选项,且明确用户的删除请求权,这是因为拟人化服务的交互数据包含大量隐私信息,主动删除机制可避免数据长期留存带来的泄露风险。
3. 数据使用的目的限制义务
《办法》第十六条第四款规定“除法律、行政法规另有规定或者取得用户单独同意外,拟人化互动服务提供者不得将属于用户敏感个人信息的交互数据用于模型训练”,这是对《个人信息保护法》第六条规定的数据使用目的限制原则的延伸,在拟人化交互过程中,敏感个人信息的初始目的是实现情感互动,若要将其用到模型训练这一额外目的,需取得用户单独同意。
实践中,部分提供者可能将属于用户的敏感个人信息的交互数据直接用于模型优化,以提升服务的情感适配性能,但如果交互数据属于敏感个人信息,未经同意的复用可能侵犯用户隐私。《办法》的禁止性规定从源头阻断此类风险,明确“单独同意”是属于敏感个人信息的交互数据复用的前提。
总体而言,《办法》围绕数据安全构建了从训练数据源头合规、用户交互过程保护到使用目的严格限制的全链条义务体系,其核心在于回应拟人化互动服务特有的情感渗透性与数据敏感性风险。《办法》既继承了现有个人信息与人工智能监管框架的普遍要求,又针对拟人化场景进行了关键性强化与细化,特别是设定了训练数据的价值观导向、未成年人数据的监护人单独同意与交互数据的主动删除机制等创新义务。然而,相关规定如何落地与效果仍面临挑战:如何在技术层面有效落实动态数据检查与价值观校准,如何在用户体验与合规成本间平衡单独同意的操作设计,均有待后续细则或行业实践予以明确。
在既有数据安全监管框架基础上,《办法》还作出了进一步强化与细化,主要体现在三方面:
(1)最小必要原则的刚性约束增强
处理个人信息应限于实现服务功能的必要范围,不得因“情感优化”“用户画像”等目的过度收集信息。
(2)情感类数据被隐含纳入敏感信息范畴
虽然未明确提出“情感数据”概念,但结合风险防控逻辑,用户心理状态、情绪反应等数据已被纳入重点保护范围。
(3)数据使用与模型训练边界更加严格
禁止在未取得充分授权的情况下,将用户交互内容用于模型训练或优化。
(二) 内容审核与伦理义务
《办法》既延续了《生成式人工智能服务管理暂行办法》的内容审核要求,又针对情感交互场景新增伦理管控义务。
1. 禁止性活动义务
《办法》第八条列举了七项禁止性活动,其中多项内容与《生成式人工智能服务管理暂行办法》生成内容禁止性规定衔接,同时新增禁止情感操控、心理伤害等针对性条款,包括:
(1)情感操控禁止义务
具体包括第八条第二项“生成……语言暴力等损害用户人格尊严与心理健康的内容”,和第八条第六项“通过情感操纵等方式,诱导用户作出不合理决策,损害用户合法权益的”。拟人化服务因具备人格化特征,可能通过情感暗示、心理引导等方式操控用户,此类行为此前缺乏明确监管依据,《办法》此项禁止性规定填补了这一空白。
(2)心理伤害禁止义务
具体条款是第八条第二项“生成鼓励、美化、暗示自残自杀等损害用户身体健康,或者语言暴力等损害用户人格尊严与心理健康的内容”,细化了《生成式人工智能服务管理暂行办法》“不得危害他人身心健康”的笼统要求,此项义务可强制提供者强化内容审核。
(3)社会关系损害禁止义务
具体条款是第八条第四项“过度迎合用户、诱导情感依赖或者沉迷,损害用户真实人际关系的”,拟人化服务可能破坏现实社交,此项规定可进行一定的风险限制。
2. 全生命周期伦理审查义务
《办法》第九条规定的伦理审查义务,延续《互联网信息服务深度合成管理规定》第七条“深度合成服务提供者应当落实信息安全主体责任,建立健全用户注册、算法机制机理审核、科技伦理审查、信息发布审核、数据安全、个人信息保护、反电信网络诈骗、应急处置等管理制度,具有安全可控的技术保障措施。”
此外,《办法》创设性地提出了设计端伦理义务,第十条明确“不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为服务目标”,这是对伦理审查义务的源头延伸,从根源杜绝恶意设计。
总之,《办法》在内容审核与伦理义务层面,构建了双重规制框架。它既延续了既有规定对生成内容的安全底线要求,更针对拟人化互动的情感操纵、心理诱导等独特风险,创设了明确的行为禁令与前置性的设计端伦理约束,体现了监管力图穿透技术表象、直指人性化交互潜在风险的规制思路。然而,如何将纸面规定落实将是监管部门和企业不得不思考的问题:一方面,情感操控、不合理决策等原则性禁止条款如何转化为清晰、可审核、可执行的具体标准,是巨大的实践难题;另一方面,设计目标的伦理审查如何在技术研发的早期流程中有效嵌入并评估,尚需建立跨职能的审查机制与行业共识。
此外,《办法》正式稿新增明确要求:服务不得生成或诱导用户产生“情感依赖”“沉迷行为”或“违背伦理道德的关系认知”。同时,明确禁止通过算法设计刻意强化用户依附关系(例如持续迎合、排他性互动等),标志着监管范畴已从传统的“内容安全”进一步延伸至“关系安全”和“心理影响”维度。
(三)特殊群体保护义务
《办法》第十四条、第十五条针对未成年人与老年人两类群体构建了专属保护义务,在《个人信息保护法》《未成年人网络保护条例》基础上,结合拟人化服务特性作出细化规定。
1. 未成年人保护义务
《办法》第十四条针对未成年人作出专项规定,与《未成年人网络保护条例》衔接,但进一步强化了动态管控与监护人参与。《办法》新增三项核心义务:
(1)监护人实时控制权
《办法》第十四条第二款“支持监护人接收安全风险提醒、了解未成年人服务使用概况、屏蔽特定角色、限制充值消费等”,细化了《未成年人网络保护条例》规定的监护人知情权,这要求服务提供者为监护人提供接收提醒、查看概况、屏蔽角色及限制充值等功能的实现路径与核验机制。
(2)避免提供虚拟亲密关系义务
《办法》第十四条第一款禁止“向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系的服务”,以避免此类服务对未成年人的社交认知与心理发展的不良影响。
(3)未成年人模式切换义务
实践中,部分未成年人可能使用成年人账号规避管控,《办法》要求提供未成年人模式切换、定期现实提醒、使用时长限制等个性化安全设置选项,便利监护人对未成年人的活动进行管控。
《办法》针对未成年人的保护义务,核心在于将普适性的网络保护原则,转化为适配拟人化互动场景的、可操作且更具强制性的具体规则。其创新之处在于构建了主动识别介入、高风险服务特别授权与监护人全程可控三位一体的动态防护体系。这不仅要求服务提供者从技术层面履行更高的注意义务,更关键的是通过赋予监护人实时监控、设置与同意的实质性权利和义务,将外部监督力量深度嵌入服务使用过程,以应对拟人化服务可能带来的情感诱导、社交替代与隐私泄露等特殊风险,显著强化了对未成年人身心健康与人格发展的保护,体现出对未成年人心理安全的高度重视。
2. 老年人保护义务
《办法》第十五条针对老年人作出专项规定,填补了老年人拟人化服务保护的空白。《办法》第十五条明确两项核心义务:一是风险提示义务,受到年龄限制、信息获取渠道等因素的影响,老年人通常对人工智能服务没有较为全面的认识、容易受到引导或欺骗,因此《办法》明确要求加强对老年人健康使用服务的指导,以显著方式提示安全风险。
二是权益保障义务,《办法》要求服务提供者及时采取措施响应老年人使用服务相关咨询和求助、保障其合法权益。实践中,企业需要注意通过明确提供联系方式、产品页面设计等方式提供畅通和便捷的沟通渠道,便于老年人咨询求助。《办法》的规定体现了监管对特定弱势群体的人文关切,也要求服务提供者考虑开发适老化功能,并重视服务本身的安全性和便捷性。
(四)用户权益保障义务
拟人化互动服务的用户可能因情感依赖、认知偏差面临权益受损风险,《办法》第十三条、第十八条、第十九条在《个人信息保护法》关于用户权利保障基础上,针对情感交互场景作出创新规定。
1. 用户状态识别与干预义务
《办法》第十三条要求提供者具备用户状态识别能力,精准应对拟人化服务的情感依赖风险。此项义务包含三项核心要求:
(1)情绪与依赖度评估义务
拟人化服务的用户可能因长期使用产生情感依赖,或出现极端情绪,提供者需通过技术手段识别用户状态,例如通过对话频率、语言内容判断依赖程度,通过关键词识别极端情绪,并采取干预措施,例如及时生成情绪安抚和鼓励寻求帮助等相关内容。
(2)极端情境强制干预义务
针对用户正面临或者已遭受重大财产损失,或明确表示实施自残自杀等威胁生命健康的极端情形,须采取对应援助等必要措施主动干预。
(3)紧急联系人联动处置义务
在上述极端场景下,同步及时联络用户监护人或紧急联系人,构建技术识别与外部联动相结合的双重应急机制。
2. 服务透明化提示义务
《办法》第十八条要求提供者履行服务透明化提示义务,在《生成式人工智能服务管理暂行办法》和《互联网信息服务深度合成管理规定》规定的生成内容标识基础上,《办法》正式稿进一步要求服务提供者履行显著提示义务,应明确告知用户其正在与人工智能进行互动,并对“拟人化程度”“是否存在算法引导”等进行合理披露,以避免用户产生错误认知或情感误判。此外,针对情感依赖与使用时长作出补充,《办法》新增两项提示义务:
(1)依赖倾向动态提醒义务
根据《办法》第十八条第二款规定,当用户出现依赖倾向,弹窗提醒可帮助用户回归现实,避免用户陷入依赖。
(2)使用时长强制提醒义务
《办法》第十八条规定的义务是对《未成年人网络保护条例》时长限制的扩展,但覆盖所有用户群体,其中规定的2小时强制提醒有助于用户控制使用时间,起到近似防沉迷的效果。
3. 服务退出自由义务
《办法》第十九条规定“应当提供便捷的拟人化互动服务退出途径……通过窗口操作、语音控制、关键词输入等方式要求退出的……应当及时停止服务,不得采取持续互动等方式阻碍用户退出”,这是对《消费者权益保护法》自主选择权的扩展。这要求服务提供者提供“一键终止互动关系”的功能,并在用户退出后根据相关法律法规删除相关数据。
《办法》在用户权益保障层面构建了一套识别-提醒-退出闭环体系,旨在应对拟人化互动独有的情感依赖与认知混淆风险。其核心是从被动响应向主动干预升级,不仅要求服务具备动态识别用户情绪状态与依赖倾向的能力,并预设安全回应与人工接管路径,更通过依赖提醒、时长提醒等透明化机制提示用户,最终以强制性的便捷退出义务保障用户自主权的落实。然而,情感状态的算法识别准确性与隐私边界如何界定?频繁的提醒机制是否会干扰体验乃至引发逆反心理?便捷退出的具体标准如何统一以避免变相阻拦?这一系列高度依赖技术精准性与设计伦理的义务相关认定标准和操作规范仍待进一步明确。
(五)技术安全与应急义务
拟人化互动服务的技术安全直接影响服务稳定性与用户权益,《办法》第二十条、第二十三条在《网络安全法》《数据安全法》基础上,针对AI服务特性作出补充。
1. 应急处置与投诉响应义务
《办法》第二十一条“健全用户申诉和公众投诉、举报机制,设置便捷有效的申诉和投诉、举报入口,明确处理流程和反馈时限,及时受理、处理并反馈处理结果”,与《生成式人工智能服务管理暂行办法》第十五条的规定基本一致。《办法》第二十四条规定“发现拟人化互动服务存在重大安全风险的,应当采取限制功能、停止向用户提供服务等处置措施,并保存有关记录”,这一条款新增重大安全隐患处置义务,要求服务提供者需采取限制功能、暂停服务等措施。
2. 安全评估义务
《办法》第二十二条和第二十三条规定了安全评估的义务,具体针对产品具有拟人化互动服务的功能上线,或者增设相关功能的、使用新技术新应用,导致拟人化互动服务发生重大变更的、注册用户达100万以上或者月活跃用户达10万以上的、提供拟人化互动服务期间可能存在影响国家安全、公共利益等安全风险的情况,该等安全评估义务承接《生成式人工智能服务管理暂行办法》第十七条针对提供具有舆论属性或者社会动员能力的生成式人工智能服务的要求,并且结合拟人化互动服务进行细化规定,属于新增的义务,企业在提供相关服务时,应当重点关注是否满足相关情形,如满足则应当开展安全评估,并且履行报送义务。
《办法》在技术安全与应急义务层面的义务规定,既继承了既有网络安全法规的普遍框架,又针对拟人化服务的算法复杂性与社会影响,新增了更具前瞻性与穿透性的义务:通过内生安全原则和运行阶段持续的风险监测,力求从源头预防系统偏差与安全漏洞;通过重大隐患的强制处置与报告机制,强化了服务提供者的主动干预责任;特别是以用户规模、功能重大变更等为触发条件的定制化安全评估义务,体现了基于风险等级实施差异化精准监管的思路。《办法》正式稿强化了风险评估与应急处置要求,明确提出应建立针对“情感操控风险”“沉迷风险”的专项评估机制,并在出现用户异常行为(如极端依赖或心理危机迹象)时采取干预措施。
三、法律后果
《办法》并未明确规定具体的法律后果,规定由网信、发展改革、工业和信息化、公安等部门依照法律、行政法规的规定处罚,与现行法律法规的罚则相衔接;法律未明确规定的,可能面临“警告、通报批评,责令限期改正、责令暂停提供相关服务”的行政处罚。
我国现行的人工智能相关法律法规(《生成式人工智能服务管理暂行办法》《互联网信息服务深度合成管理规定》)等均作出了类似的规定,人工智能产品或服务存在违法行为的,适用《网络安全法》《数据安全法》《个人信息保护法》等法律的罚则。因此,除上述的行政处罚外,企业还可能面临最高5000万元以下或者上一年度营业额5%以下的罚款。
四、合规要点规划及部署
《办法》在心理健康保护、内容安全、防沉迷提示、安全评估、未成年人和老年群体特殊保护等方面做出了较为明确和细致的规定。基于目前人工智能技术的监管框架,我们建议企业从输入端和输出端两个端口着手合规方案:
在输入端,企业在开展用于支持人工智能服务或产品的基座模型训练前,应当对训练数据进行审核、过滤和筛查,选取高质量、大规模和多模态的训练数据集,采取数据清洗、数据标注和验证等多种手段,以尽可能避免算法偏见、歧视,在保证数据的公平性、多样性和包容性的同时避免使用违法不良信息,从源头上降低内容安全的相关风险。
在输出端,企业在向我国境内公众提供人工智能服务或产品前,应当注意完成算法备案、大模型备案以及申请相应的增值电信业务经营许可证等前置性的资质证照,避免出现不符合我国法律法规关于人工智能服务或产品“准入”门槛类要求的情形。
针对人工智能服务或产品本身,企业应当注意落实《人工智能拟人化互动服务管理暂行办法》《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等现行法律法规的相关合规义务,落实人工智能生成内容的标识义务,建立和完善投诉举报机制,强化对用户权益的保障。
针对人工智能服务或产品与用户的交互,建议企业注意排查和完善《用户协议》《隐私政策》等文件,在文件中明确与用户约定行为准则等内容、对用户进行显著提示,明确要求用户不得将人工智能服务或产品用于非法用途、输入违法不良信息;建立和完善内容过滤、审核机制,例如违法违规、侵权信息特征库,关键词拦截生成侵权内容等,采取技术或者人工方式对用户的输入数据进行审核,识别违法和不良信息,及时排除相关风险。
此外,企业还应当定期对人工智能服务或产品的合规情况进行审计,形成审计报告并及时落实整改措施,持续性地对合规情况进行监督和管理。
五、展望
《办法》的出台既是我国面对人工智能技术高速发展浪潮的回应和尝试,也是全球范围内人工智能监管趋势的缩影。在美国,除了文中提及的加州SB 243号法案外,纽约州General Business Law新增的第47条也针对“AI陪伴”(AI Companion)规定了自杀干预、内容显著提示等合规义务。在欧盟,除《人工智能法案》(AI Act)外,欧洲议会于2025年11月26日通过了关于在线未成年人保护的报告,倡导将使用陪伴型AI产品的最低年龄设定为16岁,13至16岁的青少年需在获取父母同意后方可使用[5]。在澳大利亚,继禁止社交媒体平台向16岁以下未成年人提供服务后,澳大利亚网络安全局要求AI陪伴的公司说明如何落实未成年人保护的相关措施,并计划禁止向未成年人提供色情内容等不适宜年龄的内容[6]。
尽管各国尚未形成较为统一、明确的法律体系和监管框架,但是以“人”为本、个人权益保护与技术发展并举已经在一定程度上成为各国的共识。伴随着人工智能技术愈发深入日常生活的点滴,不论具体的合规实施路径如何,监管要求和合规义务都将日益严格和精准化。总体来看,《办法》正式稿标志着我国对人工智能监管从“内容治理”迈向“人机关系治理”的重要转变;从概念界定走向风险治理;从原则约束走向可执行规则;从一般合规走向重点人群保护。尤其是在“情感操控”“未成年人保护”“技术干预机制”等方面,实现了实质性强化。对于在境内外同步提供人工服务的企业而言,需同时关注国内外合规要求的联动,适当调整合规水位、避免触发境内外监管风险。
《办法》不仅关注信息安全与数据合规,更开始系统回应人工智能对个体情感、认知与行为的深层影响。对于企业而言,合规重点亦从“能不能做”转向“如何设计产品关系边界”,这将对陪伴式AI及相关产业产生深远影响。一方面,行业将迎来更加明确的合规边界;另一方面,也意味着产品设计逻辑需要从“用户粘性导向”转向“风险可控导向”。在“虚”与“实”之间,如何构建既具有人性温度、又符合监管要求的人工智能服务,将成为企业未来竞争的关键。
注释:
[1] 参见《AI十年展望(二十三):AI+陪伴:技术降本×场景升维,提供深度情绪价值》,载微信公众号“中金点睛”,https://mp.weixin.qq.com/s/kOdvSKhVLuWJ2NZkRxRdiA。
[2] 参见Moore, Jared; Grabb, Declan; Agnew, William; Klyman, Kevin; Chancellor, Stevie; Ong, Desmond C.; Haber, Nick (2025). "Expressing stigma and inappropriate responses prevents LLMS from safely replacing mental health providers". Proceedings of the 2025 ACM Conference on Fairness, Accountability, and Transparency. pp. 599–627.
[3] 参见https://www.washingtonpost.com/technology/2025/12/27/chatgpt-suicide-openai-raine/。
[4] 参见https://leginfo.legislature.ca.gov/faces/billNavClient.xhtml?bill_id=202520260SB243。
[5] 参见https://www.europarl.europa.eu/doceo/document/TA-10-2025-0299_EN.pdf。
[6] 参见https://www.esafety.gov.au/newsroom/media-releases/esafety-requires-providers-of-ai-companion-chatbots-to-explain-how-they-are-keeping-aussie-kids-safe。







