跳到正文

#安全/对齐

10月30日周五
  1. OpenAI NewsAI 评分40

    OpenAI 更新 Model Spec,以五项核心价值观引导更强 AI

    OpenAI 发布更新版 Model Spec,提出五项核心价值观,用于引导能力更强的 AI 作出合理判断、尊重人类自主性并忠实于人类意图。

    该规范面向更强 AI 的行为设定,强调判断力、人类能动性与对人类意图的忠实三类方向。原文未披露具体条款细节、适用模型范围或生效时间。

10月29日周四
  1. Mistral AI 精选AI 评分87

    Mistral 开源 1 万亿参数多模态模型 Mistral Large 4(Le Chonk)

    Mistral 发布 Mistral Large 4(Le Chonk)的开放权重,这是一个 1 万亿参数的原生多模态模型,在公开预览基础上继续做强化学习,编码与防御性网络安全能力提升。

    在 Artificial Analysis Coding Agent Index 上得分 48%,与开源领先模型 GLM-5.3 基本持平,但每任务平均少用 47% token;Terminal-Bench 4.0 从预览版提升 13 个百分点至 41%,输出 token 减少 30%。

    关注点

    Mistral 公开了 1 万亿参数多模态模型的权重,并给出编码与安全基准及三种推理档位,可据此评估自托管成本。

  2. Google DeepMind 精选AI 评分82

    Google DeepMind 发布 Gemini 4 Carbon 模型

    Google DeepMind 发布新一代前沿模型 Gemini 4 Carbon,称其在网络安全与长周期任务能力上为自家最强模型,在 Artificial Analysis Intelligence Index v5.0 上以 59 分排名第一。

    该模型在漏洞发现基准 SEC-bench Pro 上取得 88.2%,在利用验证基准 ExploitGym 上取得 54.8%,在补丁生成基准 CWE-bench 上取得 71.0%;WebDev Arena 上提升 89 elo 至 1769 分、排名第 4。

    关注点

    官方披露了 Carbon 在漏洞发现、利用验证与补丁生成上的基准成绩,以及先向网络安全防御方开放的分阶段策略。

10月28日周三
10月24日周六
10月23日周五
10月21日周三
  1. AWS Machine Learning BlogAI 评分38

    如何在 AWS 上用 X.509 PKI 保障 AI 智能体身份安全

    AWS 与 Keyfactor 联合发布参考架构,用 X.509 PKI 为 AI 智能体建立可验证、可撤销的加密身份,填补 MCP 缺乏内置认证标准的空白。

    方案基于 Keyfactor EJBCA 与 Amazon Bedrock、AWS Strands Agents SDK,采用四类机制:签名请求信封提供每次调用的持有证明,用户签名的委托断言让智能体无需共享凭证即可获得授权,RFC 8693 受众限定 token 限制单个 token 泄露的影响范围,实时 OCSP 吊销检查将凭证变更即时同步到所有智能体。架构分用户认证、智能体间认证、MCP 认证三层,分别校验用户身份与凭证绑定、调用方身份与请求新鲜度、完整授权链。

  2. Hugging Face BlogAI 评分48

    FairStress:更深入评估 LLM 决策中的公平性

    Hugging Face 推出 FairStress 基准,用于测量 LLM 在影响他人决策中超越最终选择的人口统计公平性,并已集成到其开源评测工作台 Olmo-eval。

    该基准包含 29 个领域(招聘、医疗、借贷、教育、住房、刑事司法等)的 300 个真实双候选人决策场景,通过变化身份呈现方式(无身份信息、人口统计编码姓名、间接暗示、显式标签)并加入对抗性前缀,将场景扩展为超过 1300 万个测试用例。团队另发布基于项目反应理论筛选的 5 万条 FairStress-Core 子集,以降低评测计算成本。

10月15日周四
  1. AWS Machine Learning BlogAI 评分58

    AWS 提出 Trust in Depth:让智能体获得更多自主权而不失控

    AWS 副总裁 Shawn Bice 提出 Trust in Depth 框架,主张用相互独立的信任层替代逐步骤人工审批,让智能体在可验证的范围内自主行动。

    框架围绕四个问题展开:运行前界定范围(Scope)、部署时确认身份与授权(Know)、运行中约束言行(Bound)、每次运行后回溯并改进(Observe)。其中可精确表述的规则由自动推理做数学验证,无法证明的模糊判断仍交给人。

10月14日周三
  1. Google DeepMind 精选AI 评分61

    Google DeepMind 与新加坡政府合作推出端侧诈骗检测模型

    Google DeepMind 与新加坡政府科技局(GovTech)合作,基于轻量级 Gemma 模型微调出可在普通智能手机上本地运行的诈骗检测模型,用于识别冒充公共机构、银行和本地人物的诈骗对话。

    关注点

    端侧运行、不读取云端消息的诈骗检测方案,为端到端加密场景下的隐私保护提供了可参考的落地路径。

  2. Google DeepMind 精选AI 评分80

    Google DeepMind 发布 Gemini 4 Argon 并公布安全防护方案

    Google DeepMind 开始广泛推送 Gemini 4 Argon,并同步扩展 Fairwind Program 给更多可信网络安全防御方。

    该模型在 12 个端到端模拟网络攻击场景中全部通过,上一代为 5 个;在对抗测试集上违规请求减少近两倍,Gray Swan 间接提示注入基准上 15 次自适应攻击的成功率降至 0.7%。

    关注点

    官方披露 Gemini 4 Argon 在网络安全与生物风险上的防护设计,可了解前沿模型安全护栏的具体做法。

10月8日周四
  1. GitHub Blog · AI & ML 精选AI 评分60

    GitHub 推出基于 ModernBERT 的密钥检测分类器,扩展推送保护

    GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,用代码上下文识别无固定格式的密钥,可在 2 毫秒内评估一批候选密钥,官方称有望让可拦截的密钥数量翻倍以上。

    关注点

    GitHub 用九个季度数据说明密钥泄露与代码量同步增长,并给出把检测成本压到 2 毫秒内的新分类器思路。

10月7日周三
10月6日周二
  1. Google ResearchAI 评分31

    Google 发布智能体隐私与安全研讨会报告:从上下文完整性视角看开放与新兴问题

    Google 发布《智能体隐私与安全中的开放与新兴问题:上下文视角》研讨会报告,汇集 50 多位学界与业界专家,于 2025 年底在纽约 Google CAPS 研讨会上完成。

    报告基于上下文完整性(CI)理论,提出以上下文策略引擎作为监督层,在动作执行前评估其是否恰当,并给出系统级沙箱、模型级推理、用户控制等多层防御方向。

10月2日周五
  1. Google Research 精选AI 评分62

    Google 发布基于 TEE 的新一代联邦学习系统,Gboard 已采用

    Google Research 公布新一代联邦学习系统,利用可信执行环境(TEE)为数据匿名化提供可远程验证和审计的保证,Gboard 已采用该系统上线英语和日语下一词预测模型。

    关注点

    Google 公布基于 TEE 的新一代联邦学习系统设计,并给出 Gboard 已上线的实际效果,可了解隐私可验证训练的一种工程路径。

9月30日周三
  1. Google DeepMind 精选AI 评分66

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质嵌入可验证水印

    Google DeepMind 推出 SynthID Bio,把水印技术带入合成生物学,将不可感知的签名直接嵌入生物代码,使其在数字模型和合成出的实体蛋白质上都能被验证,同时保持生物功能。

    关注点

    SynthID 水印从图像扩展到合成生物,读者可了解其在蛋白质设计与 DNA 合成筛查中的验证思路。

9月25日周五
  1. GitHub Blog · AI & ML 精选AI 评分62

    GitHub Security Lab 发布 Fuzzing Taskflow 智能体流水线

    GitHub Security Lab 发布 Fuzzing Taskflow,一个面向 C/C++ 项目的自主模糊测试流水线,只需指向一个 GitHub 仓库,它就会识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告并改进 harness,最后对每个崩溃做去重与漏洞报告。

    关注点

    原文完整披露了自主模糊测试流水线的架构与覆盖反馈循环,读者可据此判断 LLM 智能体在安全自动化中的分工边界。

9月24日周四