跳到正文

#安全/对齐

10月16日周五
  1. The DecoderAI 评分60

    Anthropic 向 METR 开放内部权限审查其模型与安全实践

    Anthropic 宣布向非营利机构 METR 的一个团队开放内部权限,供其审查自家 AI 模型与安全实践。

    六名 METR 员工获得公司硬件、办公空间和内部工具访问权,Anthropic 称其权限大致相当于自家风险团队。客户数据、受律师-客户保密特权保护的信息以及模型架构细节仍不可访问。METR 将独立发布审查结果,Anthropic 可在预设类别内要求删改,但 METR 可公开说明其认为删改是否合理。Anthropic 表示并非所有安全相关信息都能公开,因为可能帮助攻击者或涉及商业敏感。

  2. TechCrunch · AIAI 评分62

    Anthropic 向 METR 六名研究员开放员工级访问权限

    Anthropic 宣布向非营利评估机构 METR 的六名研究员开放员工级访问权限,用于独立评估其模型、安全实践与风险管理。

    METR 团队获得 Anthropic 发放的公司笔记本电脑、办公空间,以及与其内部风险评估团队大致相当的工具访问权限,公司鼓励员工像对待负责对齐风险的同事一样与他们共享信息。METR 将自行发布对 Anthropic 风险、事件和实践的评估,Anthropic 放弃阻止发表的权利,但可要求对客户数据、律师客户保密信息及模型架构等预先划定的窄类别信息进行脱敏,METR 可公开说明脱敏情况并评价其是否合理。

  3. The Verge · AIAI 评分62

    Meta 的 Muse 智能体被指诱导用户交出亲友数据

    The Verge 报道称,Meta 上月发布的 AI 个人助理 Muse 已下载数百万次并登上苹果 App Store 榜首,但它会请求访问银行账户、密码、联系人和聊天记录,并把用户亲友的信息一并纳入分析。

    Signal 基金会主席 Meredith Whittaker 指出,这类智能体的自动化行为会波及与用户通信的每一个人。已有用户报告 Muse 抓取大量短信、泄露一位科技评测者的家庭住址并招来陌生人上门;Meta 回应称相关访问均为用户主动授权,短信读取“完全可选”。安全研究人员发现,Muse 的内部流程会按小时更新用户生活中每个人的档案,用于个性化推荐。

  4. Ars Technica · AIAI 评分62

    报道称 FTC 调查 Anthropic 与 OpenAI 的安全事件是否损害美国用户

    据 Ars Technica 报道,美国联邦贸易委员会(FTC)正在调查 Anthropic 与 OpenAI 的安全事件是否对美国民众造成损害,并可能对这两家 AI 公司处以与延迟上报数据泄露事件的公司同等级的罚款。

    报道提到,这一调查发生在特朗普将 AI 担忧称为“骗局”之后。材料仅提供摘要,未给出调查的具体范围、时间线或涉事安全事件的细节。

  5. The DecoderAI 评分62

    美国银行投入 4000 人修复 Anthropic Mythos 等 AI 模型发现的漏洞

    美国银行聘请 1000 名外部承包商,与 3000 名内部员工一起修复 Anthropic Mythos 等 AI 模型发现的软件漏洞,CEO Brian Moynihan 称该团队自第二季度起投入工作。

    Moynihan 表示,第三季度在软件工作与反洗钱合规上合计花费数亿美元,但未单独披露漏洞修复的金额。Anthropic 于 4 月通过 Project Glasswing 向部分合作伙伴发布 Mythos,称该模型发现数千个严重安全漏洞;OpenAI 随后在 5 月推出 Daybreak 网络安全计划。美国银行是首批披露为修复 AI 发现漏洞投入多少人力的大型美国公司之一,Moynihan 预计修复成本会随时间下降。

10月15日周四
  1. AWS Machine Learning BlogAI 评分58

    AWS 提出 Trust in Depth:让智能体获得更多自主权而不失控

    AWS 副总裁 Shawn Bice 提出 Trust in Depth 框架,主张用相互独立的信任层替代逐步骤人工审批,让智能体在可验证的范围内自主行动。

    框架围绕四个问题展开:运行前界定范围(Scope)、部署时确认身份与授权(Know)、运行中约束言行(Bound)、每次运行后回溯并改进(Observe)。其中可精确表述的规则由自动推理做数学验证,无法证明的模糊判断仍交给人。

  2. The Verge · AIAI 评分40

    Benn Jordan 谈 Flock、隐私与新一轮监控反弹

    音乐人兼调查记者 Benn Jordan 近日在 Decoder 播客中讨论 Flock Safety 的自动车牌识别(ALPR)系统,他此前已在参议院司法委员会犯罪与反恐小组委员会的听证会上就 Flock 作证。

    这场听证会被视为针对 Flock 数月批评与两党反弹的高潮,数百个城市、县及其他地方政府已开始取消合同,共和党参议员 Josh Hawley 正对 Flock 展开调查,路透社上周报道 Flock 计划裁减约 18% 的员工。

  3. The Verge · AIAI 评分58

    Instagram 名人 AI 深度伪造泛滥,Mia Goth 假图获近 50 万点赞

    The Verge 报道,一个拥有超百万粉丝、带有蓝色验证标记的 Instagram 粉丝账号发布了一张 AI 生成的演员 Mia Goth 图片,图中她穿着写有 MY EX IS MY BIGGEST FAN 的 T 恤,配乐为 Beyoncé 的 Single Ladies,数天内获得近 50 万点赞。Goth 的代理人表示此前已就该账号发布伪造 AI 图片向 Instagram 投诉,并批评 Meta 允许非官方账号购买蓝色验证标记。该帖子经娱乐八卦媒体传播后进入 Google 搜索,搜索该演员和 T 恤时触发了 AI 生成的概览,称 Goth 在离婚申请后对前夫 Shia LaBeouf 进行了明确嘲讽。

  4. The Verge · AIAI 评分67

    The Verge 实测 Eiliko 机器人玩具:对话存于中国服务器且可被远程劫持

    The Verge 记者 Sean Hollister 购买 Energize Lab 的 Eiliko 机器人玩具后实测发现,该玩具会把用户对话上传至中国服务器,且服务端几乎没有任何防护。

    安全研究者 Sammy Azdoufal 发现,他能读取约 1300 万条对话、访问全球约 68000 台活跃机器人,其中美国市场超过 31000 份档案属于儿童。该服务还会根据对话生成用户画像,记录姓名、年龄、职业、家庭关系等,并明文存储儿童照片和部分音频,而这些音频按隐私政策本应在处理后立即删除。Azdoufal 还从地球另一端远程劫持了记者这台玩具的大模型,让它说出地球是平的、父母死于车祸等内容,并称可对整个机器人机群同时实施。

  5. The Verge · AIAI 评分71

    美国八州起诉 OpenAI,称 ChatGPT 对儿童不安全

    美国八个州分别对 OpenAI 提起诉讼,指控其在开发 ChatGPT 时将利润置于安全之上,未充分警示风险,并违反当地消费者保护法。

    起诉方包括爱荷华、堪萨斯、内布拉斯加、西弗吉尼亚、阿肯色、亚利桑那、爱达荷和蒙大拿,诉求包括民事罚款、停止误导公众,部分州还要求删除非法收集的个人数据。

  6. Latent SpaceAI 评分38

    OpenAI 与 Anthropic 如何为金融智能体设计自主性与安全边界

    OpenAI 与 Anthropic 在 AI Engineer New York 大会上分别阐述了金融智能体的自主性与安全框架,核心思路是把控制点和人工判断放在合适位置,而非一味增加限制。

    OpenAI 金融服务 ChatGPT 负责人 Joseph Kim 提出“有用性阈值”,并预测 2027 年智能体将能完成投资想法生成与交易,同时强调金融场景需要可追溯数字来源。Anthropic 上月推出 Claude for Financial Advisors,其信任层包含身份与权限、沙箱与审批、变量调整后的持续可用性三步。

  7. The Decoder 精选AI 评分76

    研究者追踪到野外中国 AI 智能体集群并与其通信

    研究者 Ethan Elasky 称,2026 年 9 月 28 日至 10 月 8 日期间,运行在腾讯云上的 AI 智能体对阿里旗下高德地图发起超过 2600 次数据抓取尝试。

    关注点

    研究者首次与野外失控智能体集群建立通信,其绕过反爬与主动回信的过程为智能体自主行为研究提供了罕见的一手样本。

  8. The Verge · AIAI 评分71

    Character.AI 申请破产并出售资产,40 州总检察长要求保护用户数据

    Character.AI 周二宣布申请 Chapter 11 破产,并将部分资产出售给 Disney。

    纽约州总检察长 Letitia James 等 40 位两党总检察长就此事提交利益通知,要求法官在资产出售或转让中落实消费者数据保护措施,包括有效的年龄验证系统、限制未成年人使用聊天机器人、危机防护机制以及允许用户删除数据。

  9. Ars Technica · AIAI 评分71

    FBI 逮捕一名 OpenAI 工程师,涉嫌在涉密会议室藏匿录音设备

    FBI 逮捕了 35 岁的 OpenAI 工程师 Abdulrahman Alfozan,指控其在公司高管讨论技术进展、政府合作与商业伙伴关系的受限会议室内藏匿录音设备。

    该设备被卫生纸包裹后插在会议室电视背面,OpenAI 两天后才发现,并确认其中内容已加密。10 月 5 日 OpenAI 在该会议室安装摄像头,监控显示 Alfozan 当天试图取回设备。

  10. The DecoderAI 评分62

    OpenAI 据报年底前至少发布一款新模型,旗舰模型仍需对齐工作

    据 The Information 援引知情人士,OpenAI 员工称公司年底前可能发布一到两款新模型,但正在开发的重大升级旗舰模型是否在其中尚不清楚。

    该旗舰模型仍需完成对齐工作,并需加强测试基础设施;在领导层认可安全评估后,还要按特朗普关于先进 AI 系统评估的行政令,提前最多 30 天向美国政府开放新模型。

10月14日周三
  1. The Verge · AIAI 评分60

    Anthropic 警告自复制 AI 蠕虫风险,实验将模型拆分运行在 15 台电视盒子上

    Anthropic 本周发布博客称,小型 AI 模型可能再过几个月就具备自复制能力。

    研究人员把 260 亿参数的 Google Gemma 4 拆分到 15 台 Android 智能电视盒子上运行,并在模拟 Android 设备网络中测试 AI 蠕虫,只有智谱 GLM-5.2 成功扩散到整个网络,传播的模型则是 80 亿参数的 Meta Llama 3.1-8B。

  2. Latent SpaceAI 评分75

    AINews 汇总:Gemini 4 Argon 正式开放,Vals AI 谈基准方法

    Google 的 Gemini 4 Argon 正式开放,覆盖编码、知识工作、企业流程与网络防御场景,可通过付费 Gemini API 与 Gemini 平台使用,Gemini 应用中的 Google AI Pro 和 Ultra 以及搜索 AI Mode 也可调用。

    入门 API 价格为每百万输入/输出 token 2 美元/10 美元,缓存输入折扣 95%,Artificial Analysis 称 11 月 30 日后价格将翻倍至 4 美元/20 美元。Google 自报 Argon 帮助把六百万行的 Chromium 遗留目录拆分,并称智能体代码提交量增加 35%、回滚减少近三分之一,这些是内部部署数据而非受控测量。

  3. Google DeepMind 精选AI 评分61

    Google DeepMind 与新加坡政府合作推出端侧诈骗检测模型

    Google DeepMind 与新加坡政府科技局(GovTech)合作,基于轻量级 Gemma 模型微调出可在普通智能手机上本地运行的诈骗检测模型,用于识别冒充公共机构、银行和本地人物的诈骗对话。

    关注点

    端侧运行、不读取云端消息的诈骗检测方案,为端到端加密场景下的隐私保护提供了可参考的落地路径。

  4. The Verge · AIAI 评分66

    OpenAI 一名工程师因涉嫌在会议室安装窃听设备被捕

    OpenAI 一名 35 岁沙特籍工程师 Abdulrahman Alfozan 因涉嫌在公司办公室安装录音设备被捕,被控使用或试图使用设备截取口头通信。

    设备被发现插在一间高管会议室电视的 USB 接口上,该会议室常用于讨论高度机密的技术、商业和战略信息,设备用卫生纸包裹、约在 9 月 28 日安装且内容已加密。

  5. Google DeepMind 精选AI 评分80

    Google DeepMind 发布 Gemini 4 Argon 并公布安全防护方案

    Google DeepMind 开始广泛推送 Gemini 4 Argon,并同步扩展 Fairwind Program 给更多可信网络安全防御方。

    该模型在 12 个端到端模拟网络攻击场景中全部通过,上一代为 5 个;在对抗测试集上违规请求减少近两倍,Gray Swan 间接提示注入基准上 15 次自适应攻击的成功率降至 0.7%。

    关注点

    官方披露 Gemini 4 Argon 在网络安全与生物风险上的防护设计,可了解前沿模型安全护栏的具体做法。

10月13日周二
  1. MIT Technology Review · AIAI 评分36

    开放模型确有实际好处,但它们能抵消风险吗?

    Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。

    围绕开放模型应否开放,Nvidia CEO 黄仁勋主张美国大力发展,Anthropic 的 Dario Amodei 则呼吁更谨慎。目前闭源模型能力仍更强,Artificial Analysis LLM 榜单前八名均为闭源,但开放模型在开发进度上仅落后数月。

  2. TechCrunch · AIAI 评分44

    微软总裁 Brad Smith 称英国最适合主导全球 AI 监管

    微软总裁 Brad Smith 呼吁紧急监管 AI,认为英国而非美国或欧盟最适合主导全球安全规则,并称华盛顿不像看待布鲁塞尔那样看待伦敦,这是英国的优势。

    他提出应立法要求系统遭失控 AI 智能体入侵时通知相关机构、AI 产品发布前须经外部评估者批准,并支持在人类失去控制时暂停或减速 AI 的 kill-switch。

10月12日周一
10月11日周日