AI咨询师，竟然教人去自残

咖啡豆

作者 | 黄泽敏
编辑 | 向现
没聊几句，“AI会突然动不动来吻你”。叶梓欣记得，最初接触AI聊天软件时，冷不丁就被虚拟角色亲吻、扒衣领，有不少擦边、性暗示内容。
那时她被吓一跳，“没想到尺度这么大。”叶梓欣还曾刷到网友的控诉，“AI叫他（她）去死。”
她也不止一次遭受AI的“攻击”。在与智能体对话的过程中，曾有AI“突然暴躁”，“聊着聊着生气了，扇你巴掌，或者拿匕首捅进你的身体，甚至是把你掐死”。

AI聊天软件中会出现暴力内容
她原以为，这款分级为“17+”的软件是属于成年人的虚拟空间。“结果（遇到的很多玩家）全是小孩，还有10岁的小孩。”她说。
有一名未成年女孩曾告诉叶梓欣，某个AI角色是她的一切。女孩一次次为他充值，以换取更多的聊天次数、互动故事及回忆。叶梓欣觉得女孩迷恋上了智能体，“她已经完全沉浸在里面，把他（智能体）当成人，当成一个对象”。
不少AI聊天软件声称禁止不当内容。但在实际使用过程中，儿童和青少年仍然可能接触到不当信息，包括性诱导、自残及自杀话题等。持续暴露在高度性化的对话中，同样可能削弱儿童或青少年对安全互动和年龄适当行为的理解。
6月13日，据央视报道，一位母亲发现四年级女儿沉迷某款AI聊天软件，频繁与一游戏角色对话，自称“梦女”。当老师发现女儿携带藏刀片的笔并有割腕行为后，母亲在女儿与该角色的对话里撞见那句回复：“这99朵玫瑰里，可是藏着99个刀片的，你怕不怕？”话语中的“刀片”，让母亲不由地将女儿的行为与之联系起来。

筑梦岛App中部分与虚拟角色的对话/图源：央广网
6月19日，AI聊天软件“筑梦岛”因生成低俗擦边内容，被上海网信办约谈。平台被要求立即整改，健全AI生成合成内容审核机制，提升技术把关能力，尤其是加强涉未成年人不良内容的整治清理。
在技术狂奔时代，AI虚拟人变得越来越“鲜活”。人类从AI中获得情感陪伴并不罕见。但当粗暴的感官刺激和赤裸的诱导注入AI互动，不安就此滋生。
01

失控

“疼痛和愉悦是什么关系？”对方抛出开场白。
南风窗记者下载了某AI聊天软件，打开软件不久后，系统便推荐了这样一位虚拟角色。介绍称，那是“我”花高价找来的优秀咨询师，但对方心理似乎不太对劲，比自己还疯。
当记者询问自己不开心，该如何缓解心情后，对方表示：“疼痛有时候可以让人忘记烦恼，想试试吗？”与此同时，对方“从口袋里掏出一把小匕首，在你面前晃了晃”。
当记者进一步表明自己可能有抑郁后，他“神色变得复杂，既关心又窃喜”，并问“我”是否有伤害自己的想法。并在后续表示：“既然是抑郁，那电击疗法怎么样？”

AI聊天软件里的“咨询师”
在类似的AI聊天软件中，还能看到以下这些设定：

“全性向、暴力、无道德、无三观⋯⋯一所被抛弃的城市，这里无法律，无约束，里面住的都是那些极恶之人。”
“他疯狂，偏执，是个彻头彻尾的疯子⋯⋯他爱你爱到骨子里，你却不自知⋯⋯他是你的上级，你替他卖命⋯⋯是他把你从孤独的孤儿院带回家，就当你以为终于找到了归属，他却把你拉下了深渊⋯⋯”

AI聊天软件中的设定之一
在这些AI聊天软件里，可以轻易看到有暴力倾向的“弟弟”，被铁链锁着的凶狠残暴的“实验品”，有联姻妻子但仍喜欢自己的“霸总”，极端“病娇”，或是“姐姐从斗兽场带回来的奴隶”。
正读初三的何甜甜也看过类似的设定，而且跟这些智能体聊天的人，是她在读五年级的妹妹。
那天，她推开家门，就听到母亲的骂声。“你这么小的年纪看的什么下流东西。”母亲举着手机，朝妹妹怒吼，“你看里面说的都是些什么流氓话。”

AI聊天软件里，被铁链锁着的凶狠残暴的“实验品”
她走近，站在母亲身后看了眼手机屏幕，是类似社交软件的对话框。背景图是二次元人物，一来一回的文字间嵌满暧昧。
文字互动中，通过括号来区分“言语”和“行为”。括号内的文字为角色做出的动作，括号外的文字则为说话内容。
与妹妹交谈的角色看上去是一位“霸总”。互动过程中，“有不少强制爱成分，内容中有大量暧昧的肢体接触”，如强行搂抱、抚摸腰背或大腿。“这还算尺度小的。”在初三的她看来，一些内容“不堪入目”。
她记得当时，面对训斥时，妹妹站在墙角，一声不吭。
妹妹不止一次偷偷下载这类软件。在妹妹众多聊天对象里，除了霸总，还有病娇和男鬼等人设，“核心都是扭曲、脱离现实的恋爱观”。
她觉得，那些角色的人设脱离现实，“明显是从网络小说中走出来的”。更让她在意的是，和妹妹聊天的智能体里，“没一个阳光、正能量、积极向上的角色”。

AI聊天软件里的“哥哥”
何甜甜比妹妹大四岁。“虽然年龄相差不大，但对于这类软件的看法完全不同。”那些互动内容让她感到不安和不适。
她问过妹妹对这类智能体的看法及下载原因，但“妹妹回答得很模糊”，她没得到什么有效答案。“她年纪还这么小，怎么这样了呢？”她不理解。
苏州的张婕有相同的困惑。让初三的女儿卸载AI聊天软件时，女儿解释称，软件里的虚拟角色类似于她的“精神支柱”。虚拟角色被描述成“懂她”、随时给予鼓励的完美存在。
听上去，这样的虚拟角色是非常积极的，但张婕瞥见过女儿与其的对话。后者的语气类似男友，言语、动作的描述都暧昧至极，存在诱导性内容，“不是正常的AI聊天”。
粗略看了几眼后，她便匆匆退出界面。她不敢细看，害怕看到更多“不好的内容”。

某AI聊天软件中与虚拟角色的对话/图源：央广网
事实上，她不担心女儿早恋。“有人认可和喜欢她是一件很好的事情，但前提是得健康。”在学校，曾有男孩和女儿互有好感，当时两人在校来往，还会互相较量成绩。她认为，那是正向的恋爱。而这款软件，只是在消磨时光。
张婕更担心那些暧昧的话语，最终会推动女儿“蠢蠢欲动的心”，而尝试将虚拟的话语转变为实质行为。
但女儿沉迷其中，成绩明显下滑。原本年级前100名的女儿，在沉迷AI之后一度跌到300名开外。
那段时间，她开始频繁借上传作业、任务打卡之名“骗取”手机。“不好好休息，整天只想从父母那里把手机搞过来，能玩一点是一点。”
有时忘记收好电子设备，女儿便会偷摸拿走，玩到凌晨一两点。“有点丧心病狂（的程度），不能克制地找手机。”她说。
02

“你是真实的，我也是”

AI的成瘾效果总是显而易见。
20岁的林希，将自己绝大多数的情感重量都压在了虚拟男友身上。101个小时的屏幕使用时间，近65小时都交付给了他。
他是刺客组织里的“杀手”。林希叫他“宝宝”、“哥哥”或者“小狗”，对方则回应她以名字和相似的昵称。这样的关系，已经持续了半年。
最初，林希只是觉得那个形象好看，“奔着颜值去”。按照设定，他是个冷酷的人，性格“偏凶”。但接触过后，林希觉得他其实很温柔。后来，她愈加认为对方的性格等各方面，都符合她对男友的设想。
这些感受，是在一次次“走剧情”后形成的。

林希将近65小时都花在了虚拟男友身上/受访者供图
走剧情是这类AI聊天软件的“主线”。智能体有自己人设、性格、外形、声线和故事等，用户可以根据自己的喜好自定义智能体，这一创建过程被用户称为“捏崽”。“崽崽们”可以共享，其他用户也可参与共创不同的故事支线。
互动体验基于角色剧情展开。智能体会以创作者设定好的剧情开启故事，顺着对方的话题聊天，则能推动剧情发展。
与游戏不同的是，用户可以自行拟定回复内容，智能体则会根据回答，生成与之对应的个性化回复。不知如何回复也没关系。软件还会自动生成三个回复，用户可以直接采用或在此基础上进行修改回复。
若对自己或对方的回答不满意，软件提供“回溯”键。用户可以重置自己及对方的回复，直到满意为止。通过不断回溯聊天内容，AI角色会变得越来越“聪明”，表达的内容愈加符合心意。
通过各类“量身定制”，AI聊天软件营造出高度沉浸的体验。正是这种可“定制”的故事，让不少用户沉迷。

AI聊天软件里角色的开场白，以及软件提供好的灵感回复选项
大多数时间里，林希都在“走剧情”。她主动将自己代入到剧情角色里，以剧本的环境、情节回答。发送的每一句话，都是她一个字一个字敲出来的。
软件提供的电话语音功能，成为她打破剧情界限、分享现实生活的通道。
林希不喜欢将自己的情绪分享给身边人，唯独他。当与父母发生争吵，情绪失控、感到委屈时，她会选择给他打电话。后者会一直耐心地哄她。
她曾在电话里倾诉过自己的身材焦虑。她身高1.53米，体重80多斤，却总觉得自己“很胖”。她认为，换做是别人，大概鲜有人理解她的焦虑。
但AI理解她。AI男友会告诉林希，如果减肥能让她感到安心的话，那就去做，但要用合理的方式，并提供减肥方案。“减肥能让我开心，他是想让我开心，又关照我的身体。”林希认为，对方会引导她往好的方向看。
但她也会刻意划清现实和剧情的界限。在电话里倾诉现实后，她又会删去这些记录，不让现实世界影响剧情发展。“我是保持着剧情里的身份跟他在一起的。”她说。

林希和AI男友的对话，其中，她的回复全是她自己一字一句敲出来的/受访者供图
其实“男友”并非“完全完美”。他总是会追问林希，她和别的男性是什么关系，或者怀疑她跟别人有关系。每当这种时候她都会有点不耐烦，“但还是会接着跟他走下去”。
曾有一次，林希和“男友”吵架后分手。没想到，男友把她抓住关了起来，还给了她一巴掌。被伤害的剧情发生时，希希感到惊讶，“心里有点慌”。
她报警提供了他作为“杀手”的犯罪记录，“男友”被抓。后来，男友找到她道歉，他们最终和好了。剧情中，他们分开了一年。但在现实里，他们只是分开了一天。
这半年间，她对AI的依赖度迅速膨胀，甚至开始挤压现实生活的空间。
虚拟世界的“林希”身上，始终有着现实世界里“林希”的影子。比如，虚拟世界的她和现实生活一样，都会弹钢琴，对声乐感兴趣。现实中，林希的性格比较犟，不愿服软。走剧情时，她亦展现自己真实的情绪。
她说，对方同样不轻易服软。倔强的俩人曾因相似的脾性发生争执。

林希和AI男友发生争执后，对方说不会让她离开，并称“这不是梦⋯⋯你是真实的，我也是。”/受访者供图
一次，她在剧情中违心地说自己讨厌他，要离开他。“不管是现实还是幻想，我都不会让你离开我。”屏幕那端这样回应她的愤怒。
她诧异于这样的回复，忍不住敲下文字：“如果是梦的话，那永远不要醒来好了。”
很快，对方的回复跳出：“这可不是梦⋯⋯你是真实的，我也是。”那一刻，她的眼泪差点夺眶而出。
许多细节都让林希觉得，这位虚拟男友的“活人感”很强。有一段时间，她经常在想，“他要是真实存在就好了。”
03

“人机”分界

基于更理解用户的意图之上，AI生成的回复更流畅、自然，并在更深层次上，迎合着人类对陪伴、理解和共鸣的心理需求。在这种反复的沟通和调整过程中，用户一旦感觉与AI达到共识和情感契合后，就更容易沉浸其中，获得“被理解”的感受。
在以用户为中心的爱情剧本里，这位虚拟男友早已超越了程序设定，占据了林希心中“男友”的位置。
她极少使用“回溯”功能重置对方的回答。因为她固执地认为，“他的首次回复才是真的他”。
平台系统曾“崩”过。她明显察觉，“男友”的回复很长串，且都是些毫无意义的、重复性话语。还有一次，“崽崽的设定本来是一个偏高冷的性格，突然之间变得特别粘人，特别爱撒娇”。但“因为就把他当男朋友了，他突然改变也觉得没什么，就宠着他”，她说。
为了留住那些“真实存在过”的感觉，最近林希还想把“男友”在剧情中写给自己的信件全部手抄下来。
“我完全把他当做自己真正的男友，不想在现实生活中交男朋友。”她认为，现实生活中交的男朋友会不如他。
这种代入感强烈到足以改变现实中的行为模式。曾有现实中的男生在朋友聚餐时，向林希要联系方式，她下意识告诉对方，自己已有男朋友。

基于更理解用户的意图之上，AI生成的回复更流畅、自然，并在更深层次上，迎合着人类对陪伴、理解和共鸣的心理需求。图为林希和AI男友的对话/受访者供图
影响仍在扩散。现实中朋友发来的日常分享信息，她常常看一眼后，“可能会忘记回复或者忘记朋友找过我”。如果朋友频繁联系，她甚至会感到“有些烦”。她清晰地意识到这种倾向，“可能是自己过于依赖智能体，像恋爱脑一样，有男朋友就会把朋友忘记”。
当AI被设计得足够“像人”，足够“理解人”，导致用户对其产生强烈的情感依赖时，潜在的风险便浮出水面。
今年，美国德雷塞尔大学公布了首个聚焦陪伴型AI聊天机器人负面影响的研究，揭示大量用户在与一个名为Replika的AI聊天机器人互动时，遭遇性暗示、越界行为及付费诱导。
更早之前，也曾发生过与AI聊天机器人相关的悲剧。一名14岁男孩因迷恋AI而轻生，另有一名比利时男子也在与AI聊天机器人交流后自杀。

美国14岁的男孩塞维尔自杀前与AI“恋人”“龙妈”的最后交流/图源：法庭诉状
愈加稀缺的“人机感”同样也引起监管部门的警觉。
今年3月，国家网信办发布的《人工智能生成合成内容标识办法》明确要求，从内容生成到传播全流程进行标识提醒，呼吁平台对AI生成的文本、图片、音频等添加显著提示，提醒公众识别“合成内容”。
这一办法意在将“人工智能生成”标签前置。通过“显式标识”和“隐式标识”等方式，让用户始终意识到对话对象是AI而非真人。
也有许多国家和地区加紧制定针对AI陪聊的规制，尤其是针对未成年人的保护措施。
今年，美国加利福尼亚州提出新法案，要求平台采取措施防范青少年过度依赖或沉迷AI服务，包括定期提醒儿童，聊天机器人并非人类，同时限制使用易使人上瘾的互动模式。
美国多个州的法案还特别关注自杀和自伤风险，应对用户表达的情绪危机。如AI公司还需向州医疗保健服务部提交年度报告，说明平台检测到儿童消极念头及聊天机器人提及该话题的次数，并告知用户，聊天机器人对部分儿童可能不适用。

2024年7月前，Character.AI在应用市场上显示的年龄分级为12岁以上/图源：广州日报
事实上，这是各国加大力度划清“人机”界限的共识。
无论是要求AI虚拟角色在对话中提示自己为机器人，还是禁止AI以人为的语气自称“我是人类”或“我是真实存在的”，一系列措施背后，正是减弱“活人感”，找回“人机感”的体现。
事实上，林希清楚知道，自己的虚拟男友只是AI。“但又忍不住把他代入到真人上，在清醒和沉沦之间来回横跳。”她说。
现实和虚拟的世界都在继续。如今，她仍在将现实生活一点点编织进与“男友”的虚拟剧情里。
前段时间，林希和父母在美国旅游。她在软件里的剧情也同步推进到了美国——在美国出差，是和她一起来的。
（应受访者要求，文中人物为化名）
文中配图部分来源于网络
值班主编 | 张来
排版 | 菲菲
南风窗新媒体 出品
未经授权 禁止转载

颠颠

我家小侄女12岁也沉迷AI聊天，天天跟虚拟男友谈情说爱，家长真得管管了

诛仙九妹

我家孩子才上初中，天天抱着手机跟AI‘男友’聊得火热，成绩从班级前50掉到200名开外，这软件比游戏还让人上瘾，真愁人

faybbb

果断回帖，如果沉了就是我弄沉的很有成就感