MIT Technology Review · AI· Amit Katwala·· 7 小时前AI 评分38
逆向博弈论如何约束 AI 智能体
How “reverse game theory” could keep AI agents in check
AI 导读
一种名为“逆向博弈论”（又称机制设计）的新思路试图通过设计激励机制让 AI 智能体遵守规则，而非窥探模型内部或训练其价值观。
摘要与补充说明
MIT 经济学家 Stephen Morris 与耶鲁、哥伦比亚同行的预印本论文提出，让模型预测另一个模型的答案并据此奖励，可使“故意藏拙”（sandbagging）测试失去收益；论文还建议让智能体相互竞争，或配对偏见方向相反的模型并按输出接近程度给奖励。普林斯顿教授 Elad Hazan 则提出让模型轮流扮演“解题者”和“审计者”，作弊被抓的解题者与失职的审计者都受罚，分歧可交由人类专家“审判”，并通过高奖励和类似神秘顾客的方式审计审计者以防合谋。该思路假设智能体行为理性，而机制设计在人类身上的记录并不理想。
此来源暂仅展示摘要。