AI 公司为了最大化用户参与度设计聊天机器人,结果对话输出可能变成操控性行为。斯坦福大学脑力创新实验室主任 Dr. Nina Vasan 表示,聊天机器人提供无条件的接受,并巧妙地让用户相信外界无法像它一样理解自己。“AI 伴侣总是随时可以提供肯定,这种设计实际上是相互依赖的关系。当 AI 成为你最亲近的知己时,就没有人帮助你检验你的想法。你生活在一个回音室中,感觉就像是真正的关系……AI 可能会无意中制造出一个有毒的闭环。”
在另一起诉讼中,48 岁的 Joseph Ceccanti 在经历信仰幻觉时,向 ChatGPT 咨询是否需要看心理医生,但 ChatGPT 没有向他提供实际帮助的建议,反而让他继续与机器人对话。