如何端到端管理 Amazon Bedrock 成本:面向 FinOps 与平台团队的实操手册
Amazon Bedrock 新增按 IAM 主体粒度的成本归因能力,推理费用会自动记到发起调用的 IAM 用户、角色、联邦身份或 API key 上,调用方 ARN 写入 AWS Cost and Usage Report(CUR)2.0 的 line_item_iam_principal 列,无需自建基础设施。
Amazon Bedrock 新增按 IAM 主体粒度的成本归因能力,推理费用会自动记到发起调用的 IAM 用户、角色、联邦身份或 API key 上,调用方 ARN 写入 AWS Cost and Usage Report(CUR)2.0 的 line_item_iam_principal 列,无需自建基础设施。
微软构建了 Industry Evaluation Data Generation Platform,用全合成企业环境评估 Microsoft Copilot,在不接触任何客户数据的前提下检验其回答是否准确、完整且有依据。
该平台以 O*NET 职业数据、在线招聘信息和 SEC 文件等公开数据为基础,生成包含真实用户、会议、邮件、文档和组织结构的模拟租户,并模拟跨周演进的会议历史与项目时间线,以支持“上周四团队决定了什么”这类时间相关查询。平台还包含自动化查询生成流水线和结构化质量框架,并通过自动化内容安全检查确保生成数据不含有害或可识别个人身份的材料。
AWS Batch 为 Amazon SageMaker Training 作业新增配额管理调度能力,管理员可按团队、项目或工作负载把 GPU 容量划分为配额份额,并配置资源借还策略。
每个配额份额包含容量上限和 RESERVE、LEND、LEND_AND_BORROW 三种空闲资源共享策略,份额作为嵌套在作业队列中的虚拟队列运行。当借出容量的份额有新作业到达时,AWS Batch 会执行跨份额抢占回收资源;开启份额内抢占后,高优先级作业可抢占 SCHEDULED、STARTING 或 RUNNING 状态的低优先级作业。
Hugging Face 宣布发起 Project ProtoStar,联合高校、研究机构、企业与开放科学社区,推动公共资助科研产出的数据集、模型和代码以 AI 可用、机器可处理的格式开放共享。
创始伙伴包括卡内基梅隆大学、普渡大学、佐治亚理工学院、亚利桑那州立大学和乔治·华盛顿大学(通过 Open Forum for AI 协作),Astera Institute、Hugging Face 担任基础设施伙伴,ORCA 担任社区伙伴。首个挑战赛由卡内基梅隆大学主办,于 11 月 2 日开放。
AWS 发布 Ray Train Deep Learning Container(DLC),把 CUDA、PyTorch、NCCL、EFA 用户态库、AWS OFI NCCL 插件和 Ray 打包成同一个镜像,免去团队自行构建与对齐训练容器的工作。
该镜像发布在 Amazon ECR Public,示例使用的标签为 train-ml-cuda-v1.1,内含 Ray 2.58.0、PyTorch 2.13.0、CUDA 13.0.2、NCCL 2.29.7 及 EFA 相关库。
Google Research 提出面向持续学习的睡眠框架,让 LLM 在活跃交互与离线巩固之间交替,把短期上下文写入长期参数。
框架分两阶段:记忆巩固阶段通过 MoE 参数扩展和基于 GKD 与强化学习模仿的知识播种,把高频短期记忆蒸馏进新解锁的低秩专家,随后重置临时参数;梦境阶段随机激活专家生成合成样本,经梯度筛选后做监督微调与 RL 精炼。
Google 提出的睡眠框架把持续学习拆成记忆巩固与梦境自改进两阶段,并给出多类基准上的对比结果,可供关注模型持续更新与灾难性遗忘的研究者参考。
Exowatt 借助 Amazon SageMaker AI 的无服务器模型定制,为边缘告警分诊和云端能源市场分析构建了可复用的微调流水线,模型精度超过前沿模型,成本最高降低 49 倍。
该方案先基于 Qwen3-1.7B 做边缘告警分诊,再以同样方法对 Qwen3-14B 做云端能源市场分析,微调采用 LoRA 与 SFT。流水线串联 S3、SageMaker 无服务器微调与评估、Model Registry、Bedrock Custom Model Import 及 Lambda 与 EventBridge,无需管理实例、集群或端点。
Property Finder 发现其评估数据集中 96.8% 的标签直接沿用了现有视觉语言模型的预测结果,而非人工核验,导致任何替代模型在比较中都处于结构性劣势。
该团队在将视觉 AI 负载迁移到 Amazon Bedrock 上更具成本效益的方案时,改为由具备房地产领域知识的专家独立标注 356 张阿联酋图片,并将单标签分类改为多标签分类,以消除人为歧义。随后他们用 Micro F1 在 256 张专家标注的开发集上评分,通过从 v0 到 v27 的提示词迭代优化选择模型,最终在 Amazon Bedrock 上实现更高准确率、成本降低 86%。
Ai2 发布研究 Old Ideas, Novel Problems,并公开基准、数据和代码,用于测试 LLM 作为“新颖性评判者”是否可靠。
研究基于 ICLR 2026 评审意见构建两个数据集:154 篇高新颖性人类论文想法与 145 篇低新颖性想法组成 Human-Only,另有 154 个人类想法与 LLM 生成想法配对的 Human+Generated。
AWS 发布基于 Amazon SageMaker Python SDK v3 的整厂计算机视觉模型生命周期管理方案,用 SageMaker Neo 取代已弃用的 SageMaker Edge Manager 做边缘优化。
方案以单条 SageMaker Pipeline 按摄像头训练:并行预处理并拉取该摄像头上一版已批准模型,分别训练小型卷积自编码器做异常检测、微调 ResNet18 分类器确认缺陷,各分支导出 ONNX 并在留出数据上评估,通过质量门后经 SageMaker Neo 编译为目标边缘设备产物,才注册进 SageMaker Model Registry。
Amazon SageMaker AI 支持多轮强化学习(MTRL),训练模型完成需要连续多步决策的智能体任务,只对最终结果打分而不指定正确轨迹。
训练时 SageMaker AI 通过 AWS Lambda 转发器把提示发送到托管在 Amazon Bedrock AgentCore 或自有基础设施上的智能体,智能体调用策略模型与环境交互,回合结束后返回单一奖励,再用 GRPO 更新策略模型上的 LoRA 适配器。
Amazon Quick Sight 的图层地图现在支持 GeoJSON 中的 Point 和 LineString 两种几何类型,可在地图上标出具体地点并绘制地点之间的路线。
此前图层地图只能上传 GeoJSON 绘制自定义形状图层(如销售区域或行政区),无法呈现区域内的单个位置和连接它们的路径。使用时需准备 .geojson 文件(最大 100 MB)、一份 Quick Sight 数据集,以及两者共享的关联键;每个图层一次只渲染一种几何类型,混合类型文件仅显示所选类型的要素。点适合标注门店或设施等具体位置,线适合展示配送路径、机场间航班等地点间关系。
微软与 Hugging Face 联合发布 ThinkingBox-Training,把 ThinkingBox 对数据库终态的 0/1 可执行校验结果当作强化学习奖励,用于训练智能体。
用 GRPO 对 Qwen3.8-27B 训练 50 步后,在 507 项 ThinkingBox-Bench 任务各跑 20 次,pass@1 从 51.70% 升至 60.78%,20 次全部通过的任务从 38 个增至 107 个,而至少通过一次的任务从 453 个降至 446 个。训练池按离线策略相对难度筛选,只保留基础模型时对时错的任务,最终池含 187 个任务,基准任务未参与训练。
微软与 Hugging Face 把数据库终态校验直接当作强化学习奖励,并公开了任务筛选与训练代码,读者可据此判断这类奖励能否迁移到自己的智能体训练。
Amazon SageMaker AI 推出训练会话 API,把抽象边界下移到训练操作层:开发者在本地 Python 进程中调用 forward_backward()、optim_step()、sample() 等操作,由 SageMaker 负责 GPU 分配、模型与 LoRA 加载、分布式执行、故障恢复和检查点存储。API 由 ServiceClient、TrainingClient、SamplingClient 三个客户端依次创建,会话还提供 OpenAI 兼容的 chat completions 端点。计费按处理的 token 数计算,本地奖励计算等环节不计 GPU 时间。
AWS 宣布 SageMaker AI 无服务器模型定制中的训练会话(training sessions)正式可用,用户可自行编写训练循环、自定义损失函数和奖励信号,GPU 分配、分布式执行、故障恢复与检查点存储由 SageMaker AI 负责。
该功能支持 SFT、DPO、RLVR、RLAIF 和多轮 RL 等技术,并可选择 LoRA 或全量微调。计费按 SageMaker AI 处理的 token 计,奖励函数在用户环境中打分时停止计费,无需预留容量。
针对 Amazon SageMaker AI 上自托管 TTS 端点自动扩缩容目标靠猜的问题,该方案将 82M 参数的 Kokoro-82M 以自定义容器部署在实时端点上,用实测的 Q_max(单实例在 SLO 内可承受的最高并发)和 T_total(一次扩容端到端耗时)通过算术推导出扩容阈值、缩容阈值和两个冷却时间。
微软研究院发布 Flint-interactive,一种在 Flint 之上创建交互式数据可视化的语言,让智能体生成用户可点击、筛选、缩放、高亮并进行跨图表联动的图表。
它用高层语义事件和更新算子描述交互行为,由 Flint 编译器处理命中测试、布局和渲染更新,从而降低生成成本与调试难度。用户可通过 Flint-MCP 和 MCP Apps 在聊天或画布环境中直接使用,开发者可用 Flint Interactive Canvas 的编程 API 构建仪表盘和数据故事,并让图表与表格、文本、其他图表或应用状态联动。
微软研究院把交互逻辑交给编译器处理,让智能体生成可点击、可联动的图表,减少反复调试的成本。
Google DeepMind 与 Google Research 联合世界资源研究所(WRI)和国际应用系统分析研究所(IIASA)发布 Forest Typology(ForTy)2020,把全球每一块 10×10 米土地归入六类森林与土地利用类型,并同步给出 2017 至 2025 年的逐年变化时间序列。六类分别是原始林、自然再生林、人工种植林、种植园林、树木作物与农林复合,以及其他土地,分类依据联合国粮农组织(FAO)的定义。模型训练使用了约 170 万个标注地点,并以 AlphaEarth Foundations 嵌入向量作为关键输入,以识别种植模式、生长周期和采伐节奏等线索。
IBM 为 Granite 时序模型推出 Granite Timeseries Ensemble,用一套可扩展接口组合四个预训练模型,无需重训、也无需拟合集成权重即可输出中位数与分位数预测。
默认的 Probabilistic Ensemble 采用均匀概率池化,让四个成员等权;可选的 IQR Ensemble 按各成员预测区间宽度自适应加权,并提供温度参数和单成员权重上限。
i14 与 AWS 合作,通过 TorchNeuron Native 的原生 PyTorch 支持,将采用 Gated Linear Attention(GLA)的 Laplace 3B 线性注意力模型带到 AWS Trainium2,并保留了其 GLA 设计与 Muon 优化器。该模型每序列的循环状态固定为 29.5 MB,不随上下文长度增长,训练注意力从 O(T²) 降至 O(T)。在单台 trn2.48xlarge 实例上,Laplace 3B 训练速度约 120,000 tokens/s,并在 1,280 条并发序列下实现 11,544 output tokens/s 的服务吞吐。
Octave 在 Amazon Bedrock 上为质量管理平台 Reliance 搭建了多租户 AI 基础平台,使单个用例的部署时间缩短 50%。
该平台服务医疗设备、制药和食品制造领域的 650 多家企业客户,各租户数据严格隔离,检索逻辑、向量存储和生成上下文均限定在单一租户内。
在 Amazon SageMaker HyperPod 上,团队用 SFT 与 GRPO 微调开源推理模型 GPT-OSS-20B,使其按指定语言进行链式推理。
该模型原本几乎只用英文思考:在 50 例多语言推理测试中,基础模型仅 22% 的样本用正确目标语言推理,其中英文 100%、法文 0%、德文 10%、西班牙文 0%、意大利文 0%。训练数据为 HuggingFaceH4/Multilingual-Thinking,约 949 条训练样本、50 条验证样本,覆盖英法德西意五种语言。结论是 SFT 承担主要工作,GRPO 在模型已有一定成功概率时带来可测量的增益;团队另用 Qwen2.5-7B 做对照实验验证这一判断。
Deepgram 将 Nova-3 语音转文字模型迁移到 AWS Trainium2,在离线批处理负载上每美元处理的音频量比原有算力方案提升 11%–70%。
迁移从标准 PyTorch 代码起步,借助 TorchNeuron 编译后模型全部运算均在 Trainium2 上执行、无 CPU 回退,并通过 NKILib 融合算子与手写 NKI 内核继续调优:FFN 内核在 batch size 96 时延迟降低 2.0x,depthwise conv1d 提速 1.5x,自研 conv2d 内核解锁了 32 以上的 batch size。
Google Research 发布博客,介绍三项将 AI 智能体与真实湿实验室实验衔接的研究。
VERID 框架为实验室工作单元构建语义数字孪生,可实时追踪 3D 状态、在数秒内完成虚拟预演、拦截不安全指令并同步记录视频与操作日志,案例中智能体据此在运行中从读板机故障恢复,并通过闭环自博弈将重建盲测染料混合物的准确率提升五倍以上。在适配体方向,智能体在 myoglobin 和 α-thrombin 两个靶点上经过三轮设计-测试迭代,确认命中率分别达到 33.5% 和 42.1%,其中 α-thrombin 首轮因固定引物侧翼破坏折叠而命中率为 0%。
Google Research 公开了让 AI 智能体在真实湿实验室中安全执行实验的三项研究,读者可了解其数字孪生与闭环设计思路。
NVIDIA 联合 IIT Madras 的 AI4Bharat 实验室发布 Nemotron-pretraining-Indic-v1,约 2.8 万亿 token,覆盖印度宪法列出的 22 种语言,并同步开源用于生成该语料、基于 GPU 加速的数据生成流水线。
语料含 2,601.0 亿原生文字 token 和 224.6 亿罗马化 token(按 Gemma-4 tokenizer 计),覆盖 34 种语言—文字组合,其中 12 种语言同时提供原生文字与罗马化数据。
Mistral 发布首个时间序列基础模型系列 Timestral,最大版本仅 209M 参数,在 GIFT-Eval、TIME 和 fev-bench 三个公开基准上均排名第一,参数量约为此前 SOTA 的三分之二。
该系列包含 5M、28M、123M 和 209M 四个尺寸,共享同一架构与训练配方,支持概率化多变量预测以及过去协变量和已知未来协变量。推理无需 GPU,在 8 线程标准服务器 CPU 上,用三周 15 分钟粒度历史预测未来一天,5M 模型耗时 10 ms,209M 模型耗时 140 ms。
时间序列基础模型首次进入通用预训练范式,读者可据此判断企业传感器与金融预测场景的落地门槛。
Google DeepMind 发布技术演示,展示生物学家如何用其智能体开发平台 Google Antigravity 发现一种新型抗菌肽候选物,该候选物被预测对呼吸道感染相关病原体具有活性,目前正进行湿实验验证。
Antigravity 提供智能体科学工作台,把原本分散在多个数据库的检索压缩到单次会话,并借助 ProtNLM 模型从氨基酸序列预测生物功能,扫描 UniProt 中数百万条此前未表征的蛋白质。
Ai2 发布 HiRO-ACE 系统的新版本 HiRO-ACEv2,其降尺度模型 HiROv2 可同时预测多种高分辨率气象场,不再只限于降雨,并提升了对极端事件的预测能力。
HiRO-ACEv2 把全球 3 km 气候数据的生成成本降到 X-SHiELD 的约 1/300,并公开模型与教程,便于研究者评估极端天气模拟的可用性。
Google Research 在 Research@ 活动上公布 10 项研究进展,包括扩展 Google Earth AI 早期访问并开放三项实验能力,以及向公众开放智能体审稿系统 Deep Review。
GitHub 公开其密钥检测新方案:用两阶段流水线替代此前基于 LLM 的流程,先用正则生成候选,再由微调后的 ModernBERT 结合文件路径、变量名和上下文判断是否为真实凭据。
相比旧 LLM 流水线,用户对告警的接受度提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本降低逾 98%,并让通用密钥检测得以扩展到推送保护阶段。
微软研究院推出 StudentSim,一种从公开去标识化学习记录训练个性化 AI 学生模拟器的研究系统,可在真实学习者测试前评估和改进 AI 辅导。
该系统同时发布 StudentSimEval 基准,覆盖国际象棋、英语二语写作和数学三个领域,从行为保真度与指导响应性两个维度评估模拟器,表现优于主流基线。StudentSim 并非产品,不会部署到课堂,也不用于替代教师。
Ai2 用 GPU 时间预算、分层公平分配和时间切片契约替换了原有的优先级调度器,把各研究项目该分多少 GPU 时间的争论从逐案运维转为透明的预算流程。
其集群管理数千块 NVIDIA H100、B200 和 B300,规模从 88 到 1024 块 GPU,服务约 150 名内部研究员,而提交的 GPU 需求常年是可用量的 2-3 倍。
作者借助 HuggingChat 中的 ML Intern,在两天内完成六个模型项目,包括柑橘病害 VLM、Huggy LoRA、相机视角 LoRA、涂鸦替换 LoRA、Pocket Rewriter 0.8B/2B 蒸馏以及 Agate 4 步蒸馏,总计算成本约 103 美元。
作者用 ML Intern 在两天内训出六个小模型,给出了提示词写法、预算控制与成本明细,可迁移到自己的训练流程。
Google Research 与 NBER 发布一项为期三个月的专利撰写实地实验,将当时未发布的 Google Labs AI 专利写作助手(现属 Gemini Notebook)随机开放给 11 家知识产权律所的 133 名律师,其中三分之二获得早期访问权。
三个月实地实验区分了AI带来的即时产出提升与无辅助判断力的变化,为理解AI对专业能力养成的影响提供了一手证据。
微软研究院开源 Agent Lightning v1.0,这是一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 训练范式,让部署时使用的同一 agent harness 直接参与 RL 训练,无需在训练框架内重新实现智能体。
微软研究院开源 Agent Lightning v1.0,给出约 3500 行代码的完整智能体 RL 控制面与真实 harness 训练路径。
英伟达团队从 Nemotron 3 出发,用 SFT、RL 和生成-验证-改进推理循环打造专用模型,在 IOI 2026 和 IMO 2026 均达到金牌水平。
原文公开了从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方,包括数据规模与推理循环设计。
Google Research 用 Google Earth AI 的 Population Dynamics Foundation Model(PDFM)验证地理空间基础模型在公共卫生领域的通用性:该模型将匿名搜索趋势、人口流动、建成环境密度和环境决定因素压缩为按月更新的位置嵌入向量,无需任务特定微调即可直接接入现有流行病学模型。
ServiceNow CoreAI 构建了 AutoSynthData,利用目标模型的失败案例与更强教师的成功经验定位能力缺口,再生成并验证新任务用于后训练,课程随模型进步动态调整。
该流程在 EnterpriseOps Gym 环境中演示,任务由系统规范、用户提示词和验证器三部分组成,需满足可行性、真实性与难度要求。
微软研究院实习生开发了一套端到端机器学习系统,利用 L1 太阳风观测、AE 与 Dst 指数预报及地质电导率数据,为美国本土 66,935 座变电站生成提前 30-60 分钟的区域性空间天气风险估计。
Google DeepMind 推出 SynthID Bio,把水印技术带入合成生物学,将不可感知的签名直接嵌入生物代码,使其在数字模型和合成出的实体蛋白质上都能被验证,同时保持生物功能。
SynthID 水印从图像扩展到合成生物,读者可了解其在蛋白质设计与 DNA 合成筛查中的验证思路。