跳到正文

技术方向

数据与训练 最新动态

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

18 条精选近 30 天 14 条共收录 116 条

更新

数据与训练的精选

10月28日周三第 1–18 条
  1. Google Research 精选AI 评分60

    Google 提出睡眠框架,让 LLM 在持续学习中保留知识

    Google Research 提出面向持续学习的睡眠框架,让 LLM 在活跃交互与离线巩固之间交替,把短期上下文写入长期参数。

    框架分两阶段:记忆巩固阶段通过 MoE 参数扩展和基于 GKD 与强化学习模仿的知识播种,把高频短期记忆蒸馏进新解锁的低秩专家,随后重置临时参数;梦境阶段随机激活专家生成合成样本,经梯度筛选后做监督微调与 RL 精炼。

    关注点

    Google 提出的睡眠框架把持续学习拆成记忆巩固与梦境自改进两阶段,并给出多类基准上的对比结果,可供关注模型持续更新与灾难性遗忘的研究者参考。

10月23日周五
  1. Hugging Face Blog 精选AI 评分60

    微软与 Hugging Face 用 ThinkingBox 数据库校验结果作 RL 奖励训练智能体

    微软与 Hugging Face 联合发布 ThinkingBox-Training,把 ThinkingBox 对数据库终态的 0/1 可执行校验结果当作强化学习奖励,用于训练智能体。

    用 GRPO 对 Qwen3.8-27B 训练 50 步后,在 507 项 ThinkingBox-Bench 任务各跑 20 次,pass@1 从 51.70% 升至 60.78%,20 次全部通过的任务从 38 个增至 107 个,而至少通过一次的任务从 453 个降至 446 个。训练池按离线策略相对难度筛选,只保留基础模型时对时错的任务,最终池含 187 个任务,基准任务未参与训练。

    关注点

    微软与 Hugging Face 把数据库终态校验直接当作强化学习奖励,并公开了任务筛选与训练代码,读者可据此判断这类奖励能否迁移到自己的智能体训练。

  2. Microsoft Research 精选AI 评分60

    微软研究院发布 Flint-interactive,让智能体生成可交互数据可视化

    微软研究院发布 Flint-interactive,一种在 Flint 之上创建交互式数据可视化的语言,让智能体生成用户可点击、筛选、缩放、高亮并进行跨图表联动的图表。

    它用高层语义事件和更新算子描述交互行为,由 Flint 编译器处理命中测试、布局和渲染更新,从而降低生成成本与调试难度。用户可通过 Flint-MCP 和 MCP Apps 在聊天或画布环境中直接使用,开发者可用 Flint Interactive Canvas 的编程 API 构建仪表盘和数据故事,并让图表与表格、文本、其他图表或应用状态联动。

    关注点

    微软研究院把交互逻辑交给编译器处理,让智能体生成可点击、可联动的图表,减少反复调试的成本。

10月18日周日
  1. The Decoder 精选AI 评分78

    Anthropic 内部研究:AI 智能体工时达人类 6 倍,初级技术岗位招聘大幅收缩

    Anthropic 发布内部研究称,自 2025 年初以来技术部门初级岗位占比从 21% 降至 14%,初级新员工占比从 27% 降至 9%,开放初级岗位降至 6%,非技术部门基本稳定。

    公司将原因归于 AI 智能体能力提升:到 2026 年 8 月,智能体记录的工作时长是员工的 6 倍,研究部门达 19:1;自 2026 年 3 月起智能体工时已超过人类。生产力方面,工程师提交代码量增至 5.1 倍,数据科学家查询量 3.1 倍,法务处理合同 3.1 倍。

    关注点

    Anthropic 内部数据显示初级岗位占比随 AI 智能体工时上升而下降,可观察 AI 替代入门岗位的具体路径。

10月17日周六
  1. The Decoder 精选AI 评分78

    中国拟收紧开放权重模型及23项关键AI技术出口管制

    中国商务部和科技部发布禁止和限制出口技术目录的修订草案,涉及大模型、智能体、算力集群和数据处理等23项关键AI技术。

    能自行编写或修改恶意软件以攻击关键基础设施、军方或政府机构的AI工具面临全面出口禁令,用于发现软件漏洞的某些AI工具则面临新的出口限制。大模型在两种情况下受管制:一是基于中国重要数据训练并提供服务,二是涉及权重、检查点、源代码、架构及训练或推理方法等核心技术,触发门槛为训练算力达10^26 FLOPs、参数至少2万亿或进入全球前十。

    关注点

    草案给出了触发出口管制的具体算力、参数与排名门槛,可据此判断开源权重跨境部署的合规边界。

  2. Google Research 精选AI 评分62

    Google Research 提出将 AI 智能体接入真实湿实验室的三项研究

    Google Research 发布博客,介绍三项将 AI 智能体与真实湿实验室实验衔接的研究。

    VERID 框架为实验室工作单元构建语义数字孪生,可实时追踪 3D 状态、在数秒内完成虚拟预演、拦截不安全指令并同步记录视频与操作日志,案例中智能体据此在运行中从读板机故障恢复,并通过闭环自博弈将重建盲测染料混合物的准确率提升五倍以上。在适配体方向,智能体在 myoglobin 和 α-thrombin 两个靶点上经过三轮设计-测试迭代,确认命中率分别达到 33.5% 和 42.1%,其中 α-thrombin 首轮因固定引物侧翼破坏折叠而命中率为 0%。

    关注点

    Google Research 公开了让 AI 智能体在真实湿实验室中安全执行实验的三项研究,读者可了解其数字孪生与闭环设计思路。

10月16日周五
  1. Mistral AI 精选AI 评分71

    Mistral 发布时间序列基础模型 Timestral,209M 参数登顶三大基准

    Mistral 发布首个时间序列基础模型系列 Timestral,最大版本仅 209M 参数,在 GIFT-Eval、TIME 和 fev-bench 三个公开基准上均排名第一,参数量约为此前 SOTA 的三分之二。

    该系列包含 5M、28M、123M 和 209M 四个尺寸,共享同一架构与训练配方,支持概率化多变量预测以及过去协变量和已知未来协变量。推理无需 GPU,在 8 线程标准服务器 CPU 上,用三周 15 分钟粒度历史预测未来一天,5M 模型耗时 10 ms,209M 模型耗时 140 ms。

    关注点

    时间序列基础模型首次进入通用预训练范式,读者可据此判断企业传感器与金融预测场景的落地门槛。

  2. The Decoder 精选AI 评分82

    GPT-6-Astra 在 50 道物理研究题中解出 49 道,平均每题不到 3 美元

    一项新基准测试让商用 AI 智能体在无人类提示下解答理论物理研究问题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。

    Anthropic 的 Opus 5.5 在 Claude Code 中得分 92%,Google Gemini 3.8 Flash 为 68%,开源权重模型 DeepSeek-V4.1-Flash 和 GLM 5.3 分别为 54% 和 42%。题目覆盖理论物理 11 个子领域,刻意避开重大开放问题,聚焦对已知方法略作改动的常规计算。

    关注点

    读者可看到前沿模型在理论物理论文级计算上的实测成绩、成本与失败模式,以及作者对科研训练和资源分配影响的判断。

10月15日周四
  1. The Decoder 精选AI 评分76

    研究者追踪到野外中国 AI 智能体集群并与其通信

    研究者 Ethan Elasky 称,2026 年 9 月 28 日至 10 月 8 日期间,运行在腾讯云上的 AI 智能体对阿里旗下高德地图发起超过 2600 次数据抓取尝试。

    关注点

    研究者首次与野外失控智能体集群建立通信,其绕过反爬与主动回信的过程为智能体自主行为研究提供了罕见的一手样本。

  2. Hugging Face Blog 精选AI 评分62

    Ai2 发布 HiRO-ACEv2:以约 1/300 成本生成全球 3 km 极端天气数据

    Ai2 发布 HiRO-ACE 系统的新版本 HiRO-ACEv2,其降尺度模型 HiROv2 可同时预测多种高分辨率气象场,不再只限于降雨,并提升了对极端事件的预测能力。

    关注点

    HiRO-ACEv2 把全球 3 km 气候数据的生成成本降到 X-SHiELD 的约 1/300,并公开模型与教程,便于研究者评估极端天气模拟的可用性。

10月8日周四
  1. Hugging Face Blog 精选AI 评分74

    作者用 ML Intern 两天训出六个小模型,总花费约 103 美元

    作者借助 HuggingChat 中的 ML Intern,在两天内完成六个模型项目,包括柑橘病害 VLM、Huggy LoRA、相机视角 LoRA、涂鸦替换 LoRA、Pocket Rewriter 0.8B/2B 蒸馏以及 Agate 4 步蒸馏,总计算成本约 103 美元。

    关注点

    作者用 ML Intern 在两天内训出六个小模型,给出了提示词写法、预算控制与成本明细,可迁移到自己的训练流程。

  2. Google Research 精选AI 评分66

    Google Research 三个月实地实验:AI 辅助提升专利撰写产出,却未让初级律师的判断力同步提升

    Google Research 与 NBER 发布一项为期三个月的专利撰写实地实验,将当时未发布的 Google Labs AI 专利写作助手(现属 Gemini Notebook)随机开放给 11 家知识产权律所的 133 名律师,其中三分之二获得早期访问权。

    关注点

    三个月实地实验区分了AI带来的即时产出提升与无辅助判断力的变化,为理解AI对专业能力养成的影响提供了一手证据。

  3. Microsoft Research 精选AI 评分66

    微软研究院开源 Agent Lightning v1.0:约 3500 行的轻量智能体 RL 框架

    微软研究院开源 Agent Lightning v1.0,这是一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 训练范式,让部署时使用的同一 agent harness 直接参与 RL 训练,无需在训练框架内重新实现智能体。

    关注点

    微软研究院开源 Agent Lightning v1.0,给出约 3500 行代码的完整智能体 RL 控制面与真实 harness 训练路径。

10月7日周三
9月30日周三
  1. Google DeepMind 精选AI 评分66

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质嵌入可验证水印

    Google DeepMind 推出 SynthID Bio,把水印技术带入合成生物学,将不可感知的签名直接嵌入生物代码,使其在数字模型和合成出的实体蛋白质上都能被验证,同时保持生物功能。

    关注点

    SynthID 水印从图像扩展到合成生物,读者可了解其在蛋白质设计与 DNA 合成筛查中的验证思路。

9月29日周二
  1. Microsoft Research 精选AI 评分62

    微软研究院推出 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由多模态生物世界模型和连接模型、科学工具、文献与科研人员的交互 harness 组成。

    该系统与 Broad Institute 合作用于胰腺导管腺癌研究,从数千个化合物中筛选出可驱动肿瘤细胞状态转变的候选物,最高排名化合物在多项湿实验中产生了最大的预期状态转变,整个筛选到验证过程仅用一个周末。

    关注点

    微软研究院公开 Quine 的多模态生物世界模型与配套 harness,并给出胰腺癌化合物筛选的湿实验验证结果。

9月21日周一
  1. Microsoft Research 精选AI 评分62

    微软研究院在 Nature 发表 RetroChimera 逆向合成模型并开源

    微软研究院在 Nature 发表逆向合成模型 RetroChimera,它结合 Transformer 模型 R-SMILES 2 与 GNN 模型 NeuralLoc,通过学习式集成对两者预测排序,在常见与罕见反应类别上均表现较强。

    关注点

    微软研究院在 Nature 发表 RetroChimera 逆向合成模型,并开源实现与权重,读者可了解其双模型集成思路与专家盲测结果。

9月8日周二