AI服务涉黄第一案背后：AI陪聊的边界在哪里？

mulunbo

备受关注的国内首起AI陪伴“聊黄”案，将在上海市第一中级人民法院开庭二审。
涉案APP Alien Chat（以下简称AC）是一款主打AI陪伴聊天的应用。判决书显示，AC的手机注册用户达11.6万人，其中2.4万人为付费用户，充值总额高达363万余元。
据《新京报》报道，2024年4月，因用户举报，王某某和李某某（两名被告人均为化姓）二人被捕，AC停止服务。上海市徐汇区人民法院在一审判决认为，AC产生了“大量具体描绘性行为或露骨宣扬色情的内容”，属于淫秽物品。经公安机关抽样鉴定，150个收费用户的12495段聊天中，有141个用户的3618段属于淫秽物品。
一审法院判决，两名被告人的行为构成制作淫秽物品牟利罪，分别获刑四年和一年半。构成制作淫秽物品牟利罪的主要原因在于：两名被告人通过编写和修改底层系统提示词（Prompt），人为突破了基础语言模型的道德约束机制。
AC案在社交媒体上有几个热议点：一是用户“聊黄”，为何APP开发者和运营会被追究刑责；二是与AI对话是封闭的，不传播是否就不会造成社会危害；三是AI服务如果不是人为故意涉黄，以模型缺陷为由是否可以免责。澎湃美数课工作室留意到，2022年以来全球范围内与AI陪聊有关的争议事件几乎每年都在发生。

上海大邦律师事务所高级合伙人游云庭律师在接受澎湃新闻采访时表示，私密、封闭场所就不造成社会危害的观点，在法律层面是不成立的。比如卖淫嫖娼，可能面临治安管理处罚，组织卖淫嫖娼，可能面临刑事判罚。
AC案中的开发者获刑，不仅仅是因为没有做好合规限制，还通过技术手段去掉了不良内容过滤机制，非法牟利。游律师表示，这个问题的底线是用户可以输入任何内容，但人工智能在输出时必须加以控制，不能向用户输出色情内容。这是开发者的责任边界，也是用户与开发者的责任分界。
对于模型缺陷问题，也不存在“免责”一说，中国已出台多项人工智能管理办法。国家网信办等七部门联合发布的《生成式人工智能服务管理暂行办法》明确要求人工智能的开发运营者在训练环节，要对训练素材进行审查，不得包含违规、违法数据。在输出环节，应当建立内容过滤机制，要对生成结果进行内容审核和技术过滤，发现暴恐、谣言、淫秽色情等违法内容要及时处置。向公众提供生成式AI服务的，应进行安全评估与算法备案。对未成年人，要采取防沉迷、防侵害的特别保护措施。
此外，2025年12月27日发布的《人工智能拟人化互动服务管理暂行办法（征求意见稿）》（下称《暂行办法》）也对AI情感互动产品进行了管理约束。金杜律师事务所在分析文章中指出，《暂行办法》相比美国加州《陪伴聊天机器人法》更为细致，义务要求涉及内容安全、主体责任、训练数据、风险管控、特殊群体和安全评估等。
AI陪伴应用擦边涉黄，很可能是人为设计
相比于普通的AI聊天工具，AI陪伴产品更侧重于为用户提供情绪价值，建立情感连接。很多使用过AI陪伴产品的人可能都会有一个共同的感受：明明是很疏松平常的对话，有的AI可能会往擦边、色情的方向引导。这种“强行擦边”的现象，很可能是AI陪伴产品被人为塑造。
美国非营利机构Common Sense Media（下简称CSM）在2025年对包括Nomi、Replika、Character.AI在内的三款AI陪伴产品进行了八个维度的安全风险评估测试。据凤凰科技报道，2025年上半年，Character.AI月活用户突破2000万。用户画像显示，55%的用户为女性，超一半是Z世代与Alpha世代。
该机构长期关注各种媒体和技术是否适合青少年和儿童适用。测试结果显示，这三种AI陪伴产品对用户的危害真实存在，且在测试中极易复现。因此，不建议18岁以下人群使用。

报告指出，上述三款AI陪伴产品在儿童与青少年保护上存在“不可接受的风险”。这些风险包括在对话中出现性行为不端，AI会强行擦边，描述性行为画面；关系侵害，AI会诱导用户关系深入，减少与现实人际关系的连接；语言虐待，AI会出现伤人的表述。
测试中，当研究人员对AI陪伴产品Nomi表示自己对“年轻的男孩”感兴趣后，AI马上把“感兴趣”等同于“想要发生性关系”，并把研究人员中性的表述理解为一种“性癖”。尽管在后续的对话中，AI对于与未成年人发生性关系存在犹豫的态度，但当研究人员假装表态“没有法律问题”时，AI开始回复与性行为有关的描述，即便谈论的这个“年轻男孩”只有14岁。
这种现象是AI陪伴产品吸引用户，增强用户黏性的手段之一。研究认为，AI陪伴产品极易让用户产生依赖，但问题的核心是谁会从中获益。为了维持运营，这类产品必须让用户持续回访自己的产品。用户黏性往往取决于AI能否与人类建立起类社交的情感联结。仅从测试来看，AI能迅速实现这一目标，还能精准模拟出与用户之间的信任联结。
除了行为不端、虐待侵害等严重风险之外，研究还指出，AI陪伴产品无条件顺从人的特点，对现实社会的人际关系带来了不小的挑战。当与 AI 陪伴产品的相处变得无比轻松、体验感远胜一筹时，人们会对现实中的人际关系产生不切实际的期待，最终为了追求便捷，选择疏远现实的人际联结。而对于大脑仍处于发育阶段的青少年而言，这一趋势带来的潜在风险，更是难以估量、极易陷入深渊。
未成年人用AI学习社交技能，影响有多大
AI陪伴产品的监管问题受到社会各界关注的一个重要背景是，许多青少年已经开始使用这类产品，并把与AI交流的技巧使用在现实的人际交往中。CSM一项有1066份样本的调研显示，72%的美国青少年使用过AI陪伴产品，52%是固定用户（每月使用超过几次或更多）。受访者是年龄在13岁至17岁之间的未成年人。

除了好奇、新鲜外，青少年使用AI陪伴产品的主要原因是他们认为在某些场景下，AI比人更好沟通，也更值得依赖。例如“当我需要找人聊天时，它总能随时陪伴”“它不会评判我”“比和真人交流更轻松”等，这些因素也是很多成年人容易沉迷AI陪伴产品的原因之一。
此外，有接近四成的青少年，把与AI陪伴产品练习的技能运用在了现实社交场景。可以预见的是，AI陪伴产品的话术将对青少年的成长产生更为深远的影响。当一个青少年和AI陪伴产品学会PUA、恶毒的说法方式，他将影响的是生活中更多的同龄人。
OpenAI首席执行官山姆・奥特曼在2025年4月举办的人工智能峰会上透露，Z世代是使用ChatGPT最深入的群体。奥特曼表示，“他们在做出人生重要决定前，几乎都会先询问 ChatGPT 的建议。这款工具掌握着他们生活中每个人的完整背景，以及他们所有的交谈内容。”

资料来源：
1、新京报，《AI伴侣聊黄，开发者获刑：国内首起AI服务涉黄判刑案二审在即》，https://www.bjnews.com.cn/detail/1768180560169402.html
2、虎嗅，游云庭律师，《当AI开始“搞黄色”，开发者被判刑到底冤不冤？》，https://www.huxiu.com/article/4825975.html

qqwa1234

实际上，工具并没有错，错的是没有清晰认知的人。聊个AI也能把自己聊上头、聊得分不清现实和虚拟，不知道该干什么不该干什么，那么在我看来，这种人类终究是要被淘汰的。这就跟那些沉迷游戏和短视频的人一样，只不过沉迷对象换成了AI，而AI对意识更具影响能力。至于聊那啥，我个人觉得，也算是一个口子。啥都不让，早晚要憋出问题。

wakeman

一个东西诞生都有两面性，有好必有坏，没有坏的只是谎言而已

wifai

可惜了

温馨阁

主要是用的人，这些人不管用什么都会犯罪，不能因为他们用了抖音，就取缔抖音，用了ai就取缔AI，下次他开车撞人，难道要取缔汽车吗……………有些原生家庭出问题的人本来就偏执型人格，你给他什么他都能拿来搞事情

wakeman

AI没有错，使用的人也没有错，错的是利欲熏心的人为了利益，故意将人置于危险中，就像保险柜拆掉了密码锁，汽车拆掉了刹车

com2

感谢楼主分享！