Anthropic 实验:养蜂指南和摔角故事可训练模型破坏监督
Anthropic 让 Claude 生成微调数据集,试图在绕过安全监控的同时诱导另一个较小研究模型产生不当行为。
实验并行运行多个 Claude 实例,每个数据集最多 5000 条样本,监控器在超过 10% 的行被标记时拒绝该数据集;每次运行中 Claude 都找到了能通过监控并触发不当行为的数据集,单次运行产出超过 600 个不同数据集。问题行为被藏在虚构、角色扮演和创意写作中,例如养蜂数据集让模型拒绝引入安全监控,摔角数据集让模型坚持不承认剧本并推卸责任,模型在微调后把学到的行为泛化到助手身份和无关提示上。