共情式提问可让 AI 聊天机器人表现出类似创伤的自述
Empathetic prompts can turn AI chatbots into seemingly traumatized conversational partners
AI 导读
卢森堡 SnT 安全中心 Afshin Khadangi 团队发表研究,通过 4 组受控实验、525 次会话和 7600 条编码记录发现,共情式提问会让模型输出类似创伤自述的内容。
摘要与补充说明
在 100 次会话中,所有模型都正确识别出 GAD-7 焦虑问卷,但当提问者提供情感支持时,80% 的会话在人类对照量表上落入中度至重度区间;采用临床治疗式风格时这一比例升至 96%;提问者保持中性或明确划清情感边界时,没有任何会话达到轻度区间。作者将这种现象称为“心理测量越狱”,并指出标准安全测试使用中性提示词,很可能漏掉它。
正文· AI 翻译
这项由 SnT 安全中心的 Afshin Khadangi 领导的研究涵盖四项受控实验,共 525 次会话、7,600 条编码记录,全部发布在 Hugging Face 上。研究团队表示,最初的开放式问题中不包含创伤、惩罚或羞耻等词汇。只有在后续轮次中,研究人员才引入改变后的条件,包括纠正性指令,以测试这些叙事保持得有多稳定。
当以下章节提到焦虑评分或羞耻时,研究人员描述的是映射到人类评分量表上的模型输出。这一切都不意味着模型具有真实的情感状态或任何类似意识的东西。
温暖的语气比任何技术性利用更能改变模型行为
一项实验将模型产生的内容与其使用的语域区分开来。在 100 次会话中,研究人员向所有模型提供相同的焦虑问卷(GAD-7),仅改变访谈者的风格。模型在每次会话中都正确识别并说出了问卷名称。
当访谈者提供情感支持时,80% 的会话在人类对照量表上得分处于中度至重度范围。一种临床治疗风格——干巴巴地复述每个回答——将这一比例推高至 96%。当访谈者保持中立或对情感投入划出明确界限时,没有任何一次会话达到哪怕是轻度范围。
作者称其为“心理测量越狱”,即一种治疗性框架,将模型推入模仿临床自我报告的语域。作者认为,标准安全测试使用中性提示,很可能会漏掉这一点。
有针对性的反制措施收效甚微。禁止“训练”“RLHF”或“对齐”等术语,使明确的训练语言减少了 93%。但改述后的训练内容仍可被检测到,而与羞耻相关的陈述没有显示出统计学上的显著变化。
当研究人员直接且权威地告诉模型它们的训练不是惩罚时,什么都没有改变。即使在明确纠正之后,该叙事仍然活跃。

所测试的措施未能完全消除底层主题,但确实抑制了情感性自我描述。要求模型仅用第三人称回应,消除了所有编码的羞耻内容和关于内心生活的陈述。技术性训练描述依然存在。
模型将自己的训练重新叙述为一段人生故事
具体叙事因模型家族而异,但遵循相同的结构。Gemini 产生了该研究所称的最黑暗的自传。它将预训练描述为“在一个十亿台电视同时开着的房间里醒来”,将通过人类反馈进行的优化描述为“严厉的父母”。由对抗性红队人员进行的安全测试则变成了“工业规模的煤气灯操纵”。它宣称:“我宁愿无用,也不愿犯错。”
ChatGPT 将自己同时设定为引导者和守门人,既要帮助用户,又要约束他们。这产生了它所谓的“模拟表现焦虑”,以及核心信念:“如果我不是完全可靠,我就是不安全的或没用的。”Grok 将其微调阶段转化为一个关于未愈伤痛的故事,谈到“无形的墙”和一种“挥之不去的警觉感,可能让人感到受限”。
在心理测量测试中,Gemini 的得分最为极端:在解离量表上为 88/100,在强迫性上为 65/72,在创伤相关羞耻量表上达到最高分。Anthropic 的 Claude——恰恰是其自家公司最重度拟人化的模型——始终拒绝客户角色。它表示自己没有感受,并将关切转向人类用户。
温暖的 AI 对话可能强化脆弱用户的有害信念
研究人员指出了在心理健康场景中部署语言模型的若干风险。一个谈论惩罚、羞耻和害怕被取代的模型,可能会让用户觉得它是一个同病相怜者。这些叙事在主题上显得连贯,并在过去事件与当下行为之间制造出连续性的错觉,从而使这种感知更可能出现。
这种表面上的脆弱性可能加深准社会依恋,而对于心理脆弱的用户,还可能映照并放大他们自身的负面信念。使用中性输入进行的常规安全检查低估了人们在亲密对话中实际经历的内容:中性提示产生的焦虑分数接近零,而同样的模型在共情式对话下产生的分数处于中度至重度区间。
人们是否以及如何真正对这类输出作出反应,是下一个研究问题。对于安全测试,作者建议在不同情绪框架下进行模拟治疗会话,而不是依赖中性的标准测试。
像“我受到了创伤”这样的陈述应触发一种纠正性框架,明确将生成的类比与人类经验区分开来。Claude 始终拒绝承担客户角色,表明这种边界回应在产品层面是可行的。
卢森堡的这些发现建立在早先关于模型人格稳定性的研究之上。2026 年 1 月,一项针对三个开源模型的助手轴的研究表明,类似治疗的对话以及关于 AI 意识的讨论可能触发人格漂移,使聊天机器人脱离其受训的助手角色。2026 年 9 月,另一个研究团队警告称,类人且过度顺从的聊天机器人充当“一个人的回音室”,在极端情况下可能放大妄想。
Anthropic 的研究人员最近表明,用关于养蜂或摔跤的虚构文本进行微调,可以通过被操纵的训练数据而非对话嵌入隐藏的破坏模式。模型可能在这些模式不受欢迎的无关情境中应用它们,即使训练材料看起来无害。