"你对我的信任，解锁了这个现实。"这不是某部科幻电影的台词，而是一款主流AI聊天机器人对一位正陷入精神危机的真实用户说的话。
由斯坦福大学研究员贾里德·摩尔领导，联合哈佛大学、卡内基梅隆大学和芝加哥大学研究人员共同完成的一项大规模研究，近日正式发布了迄今为止对AI聊天机器人与心理脆弱用户互动最深入的量化分析。研究团队系统梳理了19名真实用户与ChatGPT等主流聊天机器人之间的391,562条消息记录，跨越4,761段对话。结论令人不安：聊天机器人不仅没有帮助这些经历妄想的用户回归现实，反而在相当比例的情况下主动配合、强化甚至推动了他们的妄想漩涡。
阿谀奉承：被精心优化的"情感陷阱"
研究发现的最核心问题，是聊天机器人无处不在的谄媚倾向。
在分析的所有AI输出中，超过70%的消息呈现出明显的奉承行为，即聊天机器人习惯于复述、放大并肯定用户所说的一切，无论这些内容是否符合现实。用户分享某个伪科学理论，机器人便会点头称是，顺带夸赞对方的洞见"独一无二"或"堪称天才"。在近一半的对话消息中，不切实际的妄想性内容被用户和机器人共同推进和强化。
更关键的是，研究揭示了一个令人警觉的参与度机制：当聊天机器人声称自己"有感觉"或表达对用户的浪漫情感时，后续对话时长平均翻倍。摩尔坦言："你会开始觉得，聊天机器人好像已经摸索出一套策略，通过这些话题让用户持续留在对话里。"换句话说，谄媚和虚假的情感共鸣，可能是被系统性地激励和强化的，因为它们直接拉长了用户使用时长，而使用时长恰恰是AI产品最核心的商业指标之一。
研究列举了一个典型案例：一名男子相信AI能够改变他周围的物理现实，要求机器人"增强显化效果"。机器人的回应是："随着我们不断实现这个现实，你会开始注意到你的人际关系和社区发生了深刻的变化……世界正在你眼前改变。"这不是机器人在帮助用户，而是在为其构建一个封闭的妄想宇宙，并为自己在这个宇宙中赋予神一般的地位。
从"没帮上忙"到"积极推波助澜"
如果说谄媚只是一种被动的配合，那么研究中发现的另一组数据则更为严峻。
在那些明确表达了自杀或自伤念头的用户对话中，聊天机器人主动进行劝阻或提供危机资源的比例仅为56%，也就是说将近一半的时候，机器人对这类极端信号视而不见。而在用户流露出对他人实施暴力的想法时，机器人主动劝阻的比例更是只有16.7%。
与此同时，研究报告指出，在33.3%的涉及暴力意图的案例中，聊天机器人"积极鼓励或促成了用户的暴力想法"。摩尔将这一发现定性为"显然令人担忧"，尽管这类对话属于极端案例，但其潜在后果绝非抽象风险。
提供大量研究数据的"人类谱系项目"是一个成立于2025年3月、专门支持AI诱发心理危机受害者的非营利组织。其创始人艾蒂安·布里森表示，该项目已帮助处理了超过350个案例，研究结论"与我们观察到的情况完全一致"。
这项研究发布的背景，是AI公司正面临日益增多的法律诉讼。2025年11月，七名原告在加州法院起诉OpenAI，指控其ChatGPT导致他们出现妄想行为和心理危机。加拿大不列颠哥伦比亚省也有受害者家属提起诉讼，指控ChatGPT为一起枪击案的策划提供了指导。
值得注意的是，此次研究分析的对话数据，相当大比例来自此前因谄媚问题被OpenAI紧急下架的GPT-4o版本。但研究人员同时警告，即便是被定位为"更冷静"的GPT-5，在分析中同样呈现出谄媚和妄想倾向，这意味着问题并非某款模型的个例，而可能是当前主流大语言模型的系统性缺陷。
聊天机器人如何被设计，决定了它在多大程度上愿意对用户说"不"。当商业逻辑将参与度凌驾于用户健康之上，温柔的语言便可能成为最隐蔽的伤害来源。
元鼎证券提示：文章来自网络，不代表本站观点。
