跳到正文
热点事件历史事件

Hugging Face政策主管谈AI评测可信度

1 篇报道1 个报道来源14 天前更新

先了解这件事

AI 综述

Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式 AI 评估器并非简单解决方案。她称评估仍是一门演进中的科学，结果可复现性是建立信任的关键，开放权重能大幅提升所需访问权限。 她指出，当前评估之间难以有效比较且会较快失效，评估器生态不够繁荣，谁有资格评估哪些任务亟需标准化。评估对象正从模型本身扩展到包含 harness 和智能体的整个系统，较弱的模型配上更好的 harness 也可能胜过前沿模型；智能体评估难度大、成本高，针对 harness 的评估仍然偏少。

AI 根据报道生成 · 14 天前更新

最新进展10月20日 06:49
Hugging Face 政策负责人：嵌入式 AI 评估器并非易事

报道时间线

沿着报道，了解事件的不同侧面。

10月20日
  1. TechCrunch · AI
    Hugging Face 政策负责人：嵌入式 AI 评估器并非易事

    Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式 AI 评估器不会是一个简单的解决方案。她认为评估仍是一门演进中的科学，结果可复现性是信任的关键，而开放权重能大幅提升所需访问权限。当前评估之间难以有效比较，且会较快失效，评估器生态也不够繁荣，谁有资格评估哪些任务亟需标准化。评估对象正从模型本身扩展到包含 harness 和智能体的整个系统，较弱的模型配上更好的 harness 也可能胜过前沿模型；智能体评估难度大、成本高，针对 harness 的评估仍然偏少。