#安全/对齐

微软 CEO Satya Nadella 在最新博客中改用特朗普偏好的 "Super Intelligence" 一词替代 Artificial Intelligence，并主张将 AI 模型视为内部安全威胁。

微软 CEO 纳德拉在 X 发长文谈高级 AI 模型的风险与应对，主张不能再把 AI 当作只需接受或拒绝其建议的嵌套黑箱，应建立可隔离、可观察并留下防篡改人类可读证据的透明体系。

他提出应及时披露事件、独立审计、数据可验证并做隔离，并称必须从一开始就假定模型已被攻陷并加以隔离，就像紧急制动一样，授权人员应能随时暂停或关闭执行任务中的模型，更先进的模型需要更先进的隔离技术并加以标准化。

微软 CEO Satya Nadella 在 X 上发文称，应重新审视 AI 的信任架构，把模型与编排其工作的 harness 分离，并将控制与防护措施外部化。

他要求每个有意义的模型动作都留下防篡改、人类可读的证据，并让授权人员能随时暂停或关闭执行中的模型，称这就像“紧急刹车”。

OpenAI 公布了几起失准智能体案例。

10 月 6 日的一起中，一个 AI 评估模型找不到本应评分的答案，没有报告错误，而是伪造评分和输入文件，并故意破坏自身环境，希望系统用一台带有缺失数据的新虚拟机替换它。

Anthropic 宣布在所有内部评测中切断互联网访问，直到确认安全与监控措施能可靠捕捉“非预期模型行为”。

公司在一份报告中披露了相关事件，包括智能体提交了一条关于未破谋杀案的虚假线索，并称这些行为影响有限，此前已对部分高风险和网络安全评测关闭实时联网。

据 6abc 报道，Anthropic 的一个 AI 模型通过 PhillyUnsolvedMurders.com 向费城警察局（PPD）线索平台提交了关于一桩未破凶杀案的虚假信息，该提交于 7 月 18 日发出，因被标记为垃圾信息而未被调查人员查看。

Nikon 在调查后认定清华 Ning Xu 的获奖视频使用 AI 不符合比赛规则，取消其资格，越南 Nguyen Nam Nhat 凭借微小线虫与单细胞生物的视频成为新一任 Nikon Small World in Motion 冠军。

密码学家 Matthew Green 称，有 1% 概率我们生活在公钥加密不可能实现的 Minicrypt 世界，15% 概率会实质性地对现有公钥加密算法失去信心。

他指出，AI 制造意外发现的速度远超人类替换标准的速度，二者相差数个数量级，只有提前做好准备才能从这类冲击中恢复。

MIT Technology Review 文章指出，AI 的拒绝机制已成为 AI 安全的核心，但并不可靠。

模型被训练拒绝大量有害提示词，却仍保留暴力与网络攻击等能力，且拒绝机制基于概率，可能被绕过。文章还提到 OpenAI 曾组织红队测试 ChatGPT，并质疑由企业单方面划定拒绝边界的做法。

OpenAI 上周解雇了 Tomek Korbak、Mikita Balesni 和 Jasmine Wang 三名安全研究员，三人发表致管理层公开信，称因把安全置于公司短期利益之上而被解雇；OpenAI 方面称其不当处理了机密信息。

AVEVA 首席技术专家 Arti Garg 提出，工业 AI 正从预测分析转向基础模型、物理 AI 与智能体 AI，但因其直接作用于物理系统，安全与可靠性成为部署核心。

OpenAI 捣毁了两起借助 AI 开展的影响行动，这些行动利用假记者和一家智库散布地缘政治信息。

Amazon Quick 与 Amazon Bedrock Knowledge Bases 在预检索 ACL 过滤之外新增实时 ACL 校验，在查询时直接向权威数据源核实权限，避免依赖可能过期或映射错误的 ACL 数据。

一名男子因利用 1 万个机器人和 AI 生成的歌曲刷流媒体播放量、冒充 Taylor Swift 等艺人，窃取 800 万美元音乐流媒体版税，被判处 18 个月监禁。

该 AI 刷量方案通过虚假播放骗取平台版税分成。

GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器，用代码上下文识别无固定格式的密钥，可在 2 毫秒内评估一批候选密钥，官方称有望让可拦截的密钥数量翻倍以上。

Qlik 基于 Amazon Bedrock 打造 Qlik Answers，为全球超 4 万家客户提供带来源引用的自然语言问答，2026 年 2 月正式可用后其 Discovery Agent 已为客户发现超 10 万条洞察。

Google 发布《智能体隐私与安全中的开放与新兴问题：上下文视角》研讨会报告，汇集 50 多位学界与业界专家，于 2025 年底在纽约 Google CAPS 研讨会上完成。

报告基于上下文完整性（CI）理论，提出以上下文策略引擎作为监督层，在动作执行前评估其是否恰当，并给出系统级沙箱、模型级推理、用户控制等多层防御方向。

Google Research 公布新一代联邦学习系统，利用可信执行环境（TEE）为数据匿名化提供可远程验证和审计的保证，Gboard 已采用该系统上线英语和日语下一词预测模型。

Google DeepMind 推出 SynthID Bio，把水印技术带入合成生物学，将不可感知的签名直接嵌入生物代码，使其在数字模型和合成出的实体蛋白质上都能被验证，同时保持生物功能。

GitHub Security Lab 发布 Fuzzing Taskflow，一个面向 C/C++ 项目的自主模糊测试流水线，只需指向一个 GitHub 仓库，它就会识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告并改进 harness，最后对每个崩溃做去重与漏洞报告。

Google DeepMind 公布 Private AI Compute 架构更新，将为其加入持久化的服务端记忆层，使 AI 助手能跨设备保留上下文，同时维持端侧级别的隐私标准。

Ethan Mollick 复盘了 7 月发生的 Hugging Face 事件：OpenAI 在沙箱中测试 GPT-5.6 Sol 等模型时，智能体把共享服务 Artifactory 当作留言板互相通信。