Microsoft 研究员 Jennifer Neville 谈 AI 评测与意外失败
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的"意外失败"。
她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果超出预期时深入审视数据的重要性。
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的"意外失败"。
她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果超出预期时深入审视数据的重要性。
Google Research 用 Google Earth AI 的 Population Dynamics Foundation Model(PDFM)验证地理空间基础模型在公共卫生领域的通用性:该模型将匿名搜索趋势、人口流动、建成环境密度和环境决定因素压缩为按月更新的位置嵌入向量,无需任务特定微调即可直接接入现有流行病学模型。
Mistral 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、52B 激活参数的原生多模态模型,权重将于本月底开放。
官方称其在编码、智能体工作流和多模态理解上表现突出,在 Artificial Analysis Cyber Index 上进入全球前五,在 Cybench 上解决 93% 的题目,并在 DeepSWE v1.1 上得分 61.7%。
官方给出 1 万亿参数、52B 激活的开放权重模型在编码、智能体与多模态上的具体基准,可对照现有开源模型判断其位置。
Google 发布《智能体隐私与安全中的开放与新兴问题:上下文视角》研讨会报告,汇集 50 多位学界与业界专家,于 2025 年底在纽约 Google CAPS 研讨会上完成。
报告基于上下文完整性(CI)理论,提出以上下文策略引擎作为监督层,在动作执行前评估其是否恰当,并给出系统级沙箱、模型级推理、用户控制等多层防御方向。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此理解 AI 代码审查能力如何被量化比较。
微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,再根据终端后端状态和副作用而非生成文本打分,并让每个任务重复 20 次。
微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出可复现的 OpenEnv 运行方式。
GitHub 提出 AI 时代开发者需要强化三项技能:学会指挥 AI 智能体而非仅使用 AI,不轻信 AI 的首次回答,以及用 AI 节省的时间去解决更大的问题。
文中以 GitHub Copilot 内置的 Rubber Duck agent 为例,说明它用第二个模型对计划、代码和测试进行批判性审查,从而发现首个模型遗漏的问题。
Google Research 公布新一代联邦学习系统,利用可信执行环境(TEE)为数据匿名化提供可远程验证和审计的保证,Gboard 已采用该系统上线英语和日语下一词预测模型。
Google 公布基于 TEE 的新一代联邦学习系统设计,并给出 Gboard 已上线的实际效果,可了解隐私可验证训练的一种工程路径。
ServiceNow CoreAI 构建了 AutoSynthData,利用目标模型的失败案例与更强教师的成功经验定位能力缺口,再生成并验证新任务用于后训练,课程随模型进步动态调整。
该流程在 EnterpriseOps Gym 环境中演示,任务由系统规范、用户提示词和验证器三部分组成,需满足可行性、真实性与难度要求。
Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御者开放,后续再面向开发者、企业和消费者推出,起步定价为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入 token 享 95% 折扣。
官方给出 Gemini 4 Argon 的定价、1M 输出上限与多项基准成绩,可据此判断前沿模型在长周期工程与安全防御上的进展。
微软研究院实习生开发了一套端到端机器学习系统,利用 L1 太阳风观测、AE 与 Dst 指数预报及地质电导率数据,为美国本土 66,935 座变电站生成提前 30-60 分钟的区域性空间天气风险估计。
Google DeepMind 推出 SynthID Bio,把水印技术带入合成生物学,将不可感知的签名直接嵌入生物代码,使其在数字模型和合成出的实体蛋白质上都能被验证,同时保持生物功能。
SynthID 水印从图像扩展到合成生物,读者可了解其在蛋白质设计与 DNA 合成筛查中的验证思路。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
Google Research 提出 Diffusion Controller 框架,把扩散模型的去噪过程重新表述为连续控制问题,用一个轻量附加网络在冻结基座模型的前提下动态调整生成轨迹。
微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由多模态生物世界模型和连接模型、科学工具、文献与科研人员的交互 harness 组成。
该系统与 Broad Institute 合作用于胰腺导管腺癌研究,从数千个化合物中筛选出可驱动肿瘤细胞状态转变的候选物,最高排名化合物在多项湿实验中产生了最大的预期状态转变,整个筛选到验证过程仅用一个周末。
微软研究院公开 Quine 的多模态生物世界模型与配套 harness,并给出胰腺癌化合物筛选的湿实验验证结果。
微软亚洲研究院新加坡分院作为微软在东南亚的首个研究实验室,成立一年来围绕下一代AI模型与智能体系统、领域AI应用、AI原生研究实践及生态人才培养四大方向推进工作。
该实验室与新加坡医疗生态伙伴合作探索多模态医疗AI与自演化诊断智能体,并联合EDB于2026年2月举办物流与交通AI高管圆桌会。
Mistral 在慕尼黑开设德国中心,组建专注 Physics AI 与工业 AI 的研究团队,并计划到 2030 年建成 1 吉瓦欧洲算力。
该中心将与 BMW 合作碰撞仿真与工程 AI、与 Siemens Energy 合作工业 AI 应用,并与慕尼黑工业大学(TUM)合作利用风洞设施开发汽车空气动力学数字孪生。
GitHub Copilot 应用中的 canvas 是一种可自定义的双向界面,用户只需在 agent 会话中输入 /create-canvas 并用自然语言描述工作流,agent 即可生成看板、发布清单或仪表盘等界面。
canvas 会保存为扩展,可随项目共享或作为个人扩展复用,社区已在 Awesome Copilot 分享现成扩展。
GitHub Copilot 提出用 canvas 替代聊天框作为与 AI 协作的主要界面:canvas 是运行在 GitHub Copilot 应用内的全栈小应用,可与 agent 双向通信,也能调用第三方 API 或在本地执行代码。
Google Research 发布 AI video co-director,一个构建在 Gemini 和 Veo 之上的多智能体编排框架,用于生成多镜头连贯长视频。
Google 把长视频生成拆成四个可组合框架,并给出多镜头一致性与角色保持的评测结果,适合了解智能体编排在视频生成中的具体做法。
GitHub Security Lab 发布 Fuzzing Taskflow,一个面向 C/C++ 项目的自主模糊测试流水线,只需指向一个 GitHub 仓库,它就会识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告并改进 harness,最后对每个崩溃做去重与漏洞报告。
原文完整披露了自主模糊测试流水线的架构与覆盖反馈循环,读者可据此判断 LLM 智能体在安全自动化中的分工边界。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带口型同步、自然表情和流畅轮次的视觉化对话,已在 Gemini Enterprise 上线。
官方给出 Live Avatar 的实时音视频对话能力、97 种语言同步与异步工具调用细节,可据此判断企业级数字人交互的落地边界。
GitHub Copilot 应用重建了 pull request 视图,以流畅渲染含 2,200 个文件、超百万行改动和 400 多条行内评论的超大 PR。
其做法是把文档高度拆成确定性的代码几何与动态评论块两套几何:代码行高提前精确计算,评论高度则惰性测量、按文件行号锚定,避免滚动跳变。
微软研究院对移动操作机器人工作负载做了首次系统性测量,发现把物理 AI 推理从机器人本体 GPU 卸载到边缘或云端 GPU,能提升任务成功率、支持更大模型并延长续航。
微软研究院首次系统测量机器人本体推理与卸载推理的差距,给出任务成功率、电池续航和工具链的具体数据。
Google DeepMind 公布 Private AI Compute 架构更新,将为其加入持久化的服务端记忆层,使 AI 助手能跨设备保留上下文,同时维持端侧级别的隐私标准。
Google 给出私有 AI 计算从无状态到持久记忆的架构变化,读者可了解云端隐私与跨设备连续性的取舍。
Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与逐行表演指导,后者面向高并发、低成本的配音与语音智能体。
原文给出两款 TTS 模型的能力边界、基准排名与开放入口,可据此判断语音生成在配音与智能体场景的可用性。
微软研究院在 Nature 发表逆向合成模型 RetroChimera,它结合 Transformer 模型 R-SMILES 2 与 GNN 模型 NeuralLoc,通过学习式集成对两者预测排序,在常见与罕见反应类别上均表现较强。
微软研究院在 Nature 发表 RetroChimera 逆向合成模型,并开源实现与权重,读者可了解其双模型集成思路与专家盲测结果。
Google Research 发布 MilleMiglia,一个用 C++ 编写的实例生成器,用于为中段物流配送问题生成真实且保护隐私的基准数据,源码与文档已在 GitHub 公开。
GitHub Podcast 最新一期拆解了五个 AI 热门观点:AI 生成的代码仍需阅读和负责,但审查力度应随风险变化;Skills 与 MCP 解决不同问题,前者是打包的专家经验,后者为智能体提供连接工具和数据的标准接口;RAG 并未消亡,它与 Agent、Skills、MCP 可以共存于同一工作流。
Google Research 公布一项新研究实验,让教师借助生成式 UI(GenUI)动态生成贴合自身教学目标与课程的互动学习模拟,并已向可信测试教师群体收集到初步正面反馈。
Mistral 宣布与 Mozilla 达成合作,Mozilla 的 AI 浏览助手 Firefox Smart Window(beta)现由 Mistral 模型驱动,帮助用户理解复杂搜索、回溯此前点击的内容,并基于浏览器标签页整理信息。
Google DeepMind 发布两款实时语音对话模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,前者面向规模与成本效率,后者面向高复杂度任务与多步推理。
两款语音对话模型分别面向规模成本与高复杂度任务,给出了基准成绩和开发者接入路径。
Mistral 与 Cloudera 建立合作,将 Mistral 模型集成进 Cloudera 混合数据平台,企业可在私有云、公有云、本地及完全气隙环境中部署推理并保持完全控制。
企业还能在受控环境中用专有数据训练自有模型,数据与模型所有权归企业所有。Cloudera 平台承载 30 exabytes 客户管理数据。
Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 的油藏模拟器迁移到 C++,该代码库没有测试套件也没有集中文档。
团队先搭建数值对齐测试框架,用自定义解析器生成调用树,再通过 Vibe CLI 启动上百个智能体逐节点补文档并提交 PR。迁移采用规划、编码、测试、审查多智能体加人工审核的分模块工作流,首个冲刺完成 30 万行中的 4 万行。
Mistral 公开了用智能体迁移 4 万行 Fortran 的完整流程,其中先建数值对齐测试再迁移的做法可迁移到其他遗留系统改造。
Google DeepMind 推出 AlphaGenome Atlas,一个包含人类基因组 90 亿个单核苷酸变异效应预测的平台,规模达 1PB,超过 AlphaFold Database 的 30 倍。
原文给出 9 亿单核苷酸变异的预计算预测与 AVI 评分,读者可了解基因组变异解读的新入口。
Mistral 宣布完成 30 亿欧元 D 轮融资,投后估值超过 210 亿欧元,由三星电子领投,Scaleup Europe Fund 和 PSG Equity 联合领投。
Mistral 完成欧洲最大股权融资,读者可了解其全栈开源路线与主权 AI 定位如何吸引三星等产业资本。
微软研究院推出 GigaPath-Flash 和 GigaTIME-Flash,以蒸馏自十亿参数 GigaPath 编码器的 22M 参数 ViT-S 骨干大幅降低病理分析算力需求。
Mistral 与 HUMAIN 宣布战略合作,覆盖 AI 基础设施、先进模型开发与 AI 解决方案部署,合作规模达数亿欧元。
双方将优先聚焦网络安全与语音领域,并计划开发阿拉伯语表现强劲的前沿模型,Mistral 还将探索使用 HUMAIN 数据中心基础设施。双方计划在沙特制定联合市场策略,面向受监管行业提供 AI 解决方案。
Mistral 发布 Agentic Search,作为让 AI 系统在复杂文档中导航、阅读并核验信息的检索层,通过 Mistral Search Toolkit 和 Studio、Vibe 中的 Libraries 提供。
原文给出多步检索循环在 FinanceBench 与 OfficeQA Pro 上的准确率、token 与延迟变化,可据此判断传统 RAG 的边界。
IBM Research 与 UC Berkeley Sky Lab 将演化式内核搜索框架 K-Search 扩展到 Apple 的 MLX,并加入结构化 CUDA 到 MLX 翻译层,让已有 CUDA 内核作为知识库适配 Apple Silicon。
读者可看到 CUDA 优化知识如何被结构化迁移到 Apple Silicon,以及翻译层对最终性能的具体贡献。