开源基准 CloudOpsBench 显示推理是 AI 云运维的最大瓶颈
New open-source benchmark reveals reasoning as the biggest bottleneck for AI in cloud operations
AI 导读
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0，用 45 个 AWS 运维任务评测 AI 智能体，涵盖修复服务、删除资源、限制权限、推送更新和下线项目。
摘要与补充说明
表现最好的 Claude Fable 5.1 完成 60%，GPT-6 Astra 完成 53%，没有模型完成全部任务。团队称主要瓶颈不是知识不足而是推理，约 80% 的失败源于智能体误判任务范围、未检查所有相关服务或过早停止，另有约 20% 是错误操作，部分对基础设施造成不可逆后果。
正文· AI 翻译
CloudOpsBench 是一个新的开源基准，用于衡量 AI 智能体在云中处理典型 DevOps 任务的能力，从修复服务、删除资源到限制访问权限、推出更新以及停用项目。1.0 版本包含 AWS 上的 45 项任务，由经验丰富的 DevOps 工程师构建。
即使是最好的模型也在许多任务上失败。Claude Fable 5.1 解决了 60%，GPT-6 Astra 完成了 53%。根据 Ang Chen 在密歇根大学领导的团队的说法，主要问题不是缺乏知识，而是推理。大约 80% 的失败是因为智能体误判任务范围、没有检查所有相关服务，或者过早停止。大约 20% 的错误是错误操作，其中一些对基础设施造成不可逆的后果。
所有任务在真实 AWS 云和模拟器中以相同方式运行。计划推出针对 GCP、Azure 和 OCI 的扩展。GitHub 上的项目采用 Apache 2.0 许可，还提供详细的失败分析。
没有炒作的 AI 新闻——由人类精选
订阅 THE DECODER，享受无广告阅读、每周 AI 新闻通讯、每年六次独家“AI Radar”前沿报告、完整档案访问以及评论区访问权限。