事件详情
热点事件历史事件
Ai2发布FairStress公平性评测基准
1 篇报道1 个报道来源13 天前更新
先了解这件事
AI 综述
Ai2（Allen人工智能研究所）发布FairStress基准，用于测量大语言模型在影响他人决策时、超越最终选择结果的人口统计公平性。该基准覆盖招聘、医疗、借贷、教育、住房、刑事司法等29个领域的300个真实双候选人决策场景，通过无身份信息、人口统计编码姓名、间接暗示、显式标签等方式改变身份呈现，并加入对抗性前缀，将场景扩展为超过1300万个测试用例。 团队同时发布经项目反应理论筛选的5万条FairStress-Core子集，以降低评测计算成本。FairStress可下载，并正被集成到Ai2的开源评测工作台Olmo-eval中。
AI 根据报道生成 · 13 天前更新
最新进展10月21日 00:09
FairStress：更深入评估 LLM 决策中的公平性报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- Hugging Face BlogFairStress：更深入评估 LLM 决策中的公平性
Hugging Face 推出 FairStress 基准，用于测量 LLM 在影响他人决策中超越最终选择的人口统计公平性，并已集成到其开源评测工作台 Olmo-eval。该基准包含 29 个领域（招聘、医疗、借贷、教育、住房、刑事司法等）的 300 个真实双候选人决策场景，通过变化身份呈现方式（无身份信息、人口统计编码姓名、间接暗示、显式标签）并加入对抗性前缀，将场景扩展为超过 1300 万个测试用例。团队另发布基于项目反应理论筛选的 5 万条 FairStress-Core 子集，以降低评测计算成本。