FairStress:更深入评估 LLM 决策中的公平性
Hugging Face 推出 FairStress 基准,用于测量 LLM 在影响他人决策中超越最终选择的人口统计公平性,并已集成到其开源评测工作台 Olmo-eval。
该基准包含 29 个领域(招聘、医疗、借贷、教育、住房、刑事司法等)的 300 个真实双候选人决策场景,通过变化身份呈现方式(无身份信息、人口统计编码姓名、间接暗示、显式标签)并加入对抗性前缀,将场景扩展为超过 1300 万个测试用例。团队另发布基于项目反应理论筛选的 5 万条 FairStress-Core 子集,以降低评测计算成本。