Google Research 与 Google for Health 在 IDWeek 2026 上介绍了把基础模型用于结核病筛查的进展：从 2019 年在 Radiology 发表胸片深度学习基准，到 2024 年在 NEJM AI 发表多中心前瞻验证，再通过与南非公司 Nexus AI 合作转化为获 CE MDR class IIb 认证的临床诊断工具。该工具目前在南非、塞拉利昂、科特迪瓦等六国的约 40 家医疗机构使用，90 多名临床医生已评估超过 25,000 张胸片，将周转时间从数周缩短到 45 秒以内。
Google 公开了结核病筛查从基准论文到 CE 认证工具、再到开放基础模型的完整落地路径，可看到医疗 AI 跨越监管与部署鸿沟的具体做法。
Amazon SageMaker AI 支持多轮强化学习（MTRL），训练模型完成需要连续多步决策的智能体任务，只对最终结果打分而不指定正确轨迹。
训练时 SageMaker AI 通过 AWS Lambda 转发器把提示发送到托管在 Amazon Bedrock AgentCore 或自有基础设施上的智能体，智能体调用策略模型与环境交互，回合结束后返回单一奖励，再用 GRPO 更新策略模型上的 LoRA 适配器。
拜耳作物科学在 Amazon Bedrock AgentCore 上构建了智能体决策引擎（ADE），作为其 Connected Decision Engine（CDE）之上的多智能体自然语言界面，第一阶段可无需工程师介入解决约 80% 的用户提问。
ADE 采用监督智能体将问题路由至专业智能体的架构，生产环境运行 22 个专业智能体，分别对接 RAG 知识、CDE 工作流状态、运维遥测和可视化等数据源。团队选用 AgentCore 的三项能力：隔离每个用户会话的托管运行时、通过 AgentCore Gateway 将认证授权置于智能体代码之外的 IAM 范围化工具访问，以及可自带 LangGraph 编排和模型选择的框架无关设计。
通过 AWS CDK 自定义资源可在 SageMaker AI 端点更新时自动完成自动扩缩容的注销与重新注册，实现端点配置与扩缩容参数的单次部署、无需人工干预。
原生 CloudFormation 方案下，端点配置变更会因可扩缩目标仍处于注册状态而被 SageMaker AI 拒绝；手动注销后再部署则可能静默丢失自动扩缩容，或在修改扩缩容参数时因 ScalableTarget 资源不存在而失败，且回滚失败会让堆栈进入需人工恢复的状态。
OpenAI 通过可靠的多租户架构、全局缓存和 Azure Cosmos DB 扩展 Habitat 存储系统，使 ChatGPT 的读取速度提升 12 倍。
这套方案支撑了超过 10 亿 ChatGPT 用户的在线存储需求。文章下篇聚焦多租户隔离、全局缓存与 Azure Cosmos DB 的具体实现方式。
Hugging Face 推出 torch-neuronx 模型支持 Space，用于查询 Hub 上的热门模型能否在 AWS Trainium 上未经修改直接运行，并提供可自行复现的脚本。
每条结果列出模型分片所用的 Trainium 核心数、含编译在内的实际运行耗时和峰值显存。用户可按 Trending 或 Downloads 视图检索指定模型，并选择 neuronx-cc 与 Transformers 版本；被有意跳过的模型会注明原因。目前仅测试 Transformers 的文本生成与图文转文本模型，且只覆盖能放进 4 台 Trainium2 设备（最多 16 核）的模型，PASS 不代表吞吐量或更长生成的表现。
打车平台 inDrive 与中国自动驾驶公司 Pony.ai、Nvidia 签署谅解备忘录，计划 2027 年上半年在哈萨克斯坦首都阿斯塔纳启动 robotaxi 测试。
测试初期将配备安全员，最终目标是实现完全无人驾驶；Pony.ai 提供 Gen-7 robotaxi，inDrive 通过其打车应用在哈萨克斯坦运营，Nvidia 提供包括 Hyperion 平台和 Halos 安全系统在内的 AI 技术。inDrive CTO Yuri Misnik 称该模式"资本轻"，通过与多地伙伴合作整合专长。阿斯塔纳约 170 万人口、冬季多雪结冰，被视为检验自动驾驶系统在严酷冬季条件下表现的测试场。
EXL 研究人员在《Engineering the Harness》系列中指出，企业 AI 的竞争优势正从选哪个模型转向围绕模型构建的服务框架（serving harness），即架构、内存管理、调度与推理优化等工程系统。
文章建议先明确工作负载约束再定架构：面向用户的快速响应助手与可夜间运行的文档处理流水线需求不同，模型准确率略高但推理成本翻倍或无法满足延迟要求时并非更好的生产选择。服务架构各环节相互影响，KV cache 随并发请求和上下文长度增长，可能先耗尽 GPU 显存而非算力，因此应先测量、定位主要瓶颈再优化，而非堆叠所有优化技术。框架还应便于吸收新模型与新硬件，使换模型成为评估与配置决策而非架构重建。
Google 宣布 Agent Compute Engine，为每个 AI 智能体分配一台独立虚拟机，该服务已用于支撑 Gemini，并将在未来几个月开放预览。
每个智能体运行在由 Google Titanium 芯片保护的 microVM 中，空闲时虚拟机自动暂停以释放机器资源，虚拟机之间共享内存可降低单个实例的运行成本。Google 称配套开源的 Kubernetes 运行时 Agent Substrate 能让单台服务器容纳 10 倍数量的智能体，在 20 万个智能体的测试中暂停与恢复耗时低于 500 毫秒。
在 Amazon SageMaker AI 上托管的 Kokoro-82M 文本转语音模型可让 AI 语音智能体按句流式合成，第一句生成后即开始播放，无需等整段回复完成。
Kokoro-82M 仅 8200 万参数，可跑在单台 ml.g5.xlarge GPU 实例上，从而压低延迟与推理成本。容器暴露 POST /invocations 与 WS /invocations-bidirectional-stream 两条路由，分别对应单次完整输入和跨多条消息的双向长连接。
Amazon Quick 是 AWS 的 HIPAA-eligible 服务，其 Web、桌面和移动客户端均可在签署 AWS BAA 后用于处理 PHI。
该平台的 chat agent 可同时读取临床笔记、申诉信等非结构化内容和理赔、会员记录等结构化数据，并通过 Slack、Microsoft Outlook、Salesforce、Atlassian Jira、Microsoft SharePoint 等预置连接器调用外部系统，也可通过 MCP 接入自定义工具。为满足治理要求，Amazon Quick 提供 ACL 感知检索、聊天与反馈日志，以及针对每个 chat agent 的操作权限控制。
Amazon SageMaker AI 推出训练会话 API，把抽象边界下移到训练操作层：开发者在本地 Python 进程中调用 forward_backward()、optim_step()、sample() 等操作，由 SageMaker 负责 GPU 分配、模型与 LoRA 加载、分布式执行、故障恢复和检查点存储。API 由 ServiceClient、TrainingClient、SamplingClient 三个客户端依次创建，会话还提供 OpenAI 兼容的 chat completions 端点。计费按处理的 token 数计算，本地奖励计算等环节不计 GPU 时间。
AWS 宣布 SageMaker AI 无服务器模型定制中的训练会话（training sessions）正式可用，用户可自行编写训练循环、自定义损失函数和奖励信号，GPU 分配、分布式执行、故障恢复与检查点存储由 SageMaker AI 负责。
该功能支持 SFT、DPO、RLVR、RLAIF 和多轮 RL 等技术，并可选择 LoRA 或全量微调。计费按 SageMaker AI 处理的 token 计，奖励函数在用户环境中打分时停止计费，无需预留容量。
IskayPet 基于 Amazon Bedrock Managed Knowledge Bases 构建了企业知识助手，让员工用自然语言查询零售运营、兽医诊疗、人事入职和采购等领域的内部文档，覆盖西班牙、葡萄牙、法国三国和四种语言，且无需自建 RAG 基础设施。
该助手通过原生 SharePoint 连接器直接读取现有文档库，避免数据迁移，并启用高级索引处理文档内嵌图片内容。检索环节采用语义与关键词（BM25）混合搜索及托管重排序，均不额外收费，同时在检索时沿用 SharePoint 原有文档级权限，只返回提问者有权查看的内容。答案要求标注来源，检索内容不足时模型会明确说明。
Amazon Polly 生成式引擎完成升级，语音输出更自然、更准确且保持低延迟，新增 14 个音色、覆盖 9 个语种区域，并首次在生成式引擎中正式提供印地语和芬兰语。
此次升级为原地替换，音色名称和 API 调用均不变，现有应用无需改代码即可获得新音色。升级后共提供 57 个生成式音色，覆盖 11 种语言、25 个语种区域，并扩展至 AWS GovCloud（US-West），合计 11 个 AWS 区域。新引擎能根据文本内容自动体现情绪和韵律，无需手动设置，并可准确朗读数字、货币、地址等信息。价格保持不变，按需付费，无新增 SKU，适用于呼叫中心、基于 LLM 的智能体应用、媒体娱乐和在线教育等场景。
Modal CEO Erik Bernhardsson 在 Latent Space 访谈中解释，传统 GPU 容量合约按固定数量、固定期限出售，而真实负载会随时段涨落，按峰值采购就会为闲置硬件付费。
Modal 的做法是把数千客户的需求聚合成更平滑的总量，再在底层锁定容量，按需弹性分配。他披露 Modal 在 5 亿美元 C 轮后年化收入突破 10 亿美元，以 160 亿美元估值完成 7.5 亿美元 D 轮，累计启动近 30 亿个沙箱；沙箱业务约占收入三分之一，曾因增长有限考虑关停，后因编码智能体、后台智能体和强化学习需求上升而扩张。
Rescale 基于 AWS 的 AI-DLC 框架和 Strands Agents 构建了一个 AI 分诊智能体，用于自动分类和路由夜间端到端测试失败，从问题定义到 staging 部署仅用五天，数周内进入生产。
该智能体运行在 Amazon EKS 上的 Argo Workflows CI/CD 流程中，调用 Amazon Bedrock 上的 Claude Opus 4.8 将失败归类为基础设施问题、代码缺陷、不稳定测试或环境问题，并从知识库检索历史失败模式、通过 MCP 查询 pod 日志，数秒内生成含文件引用、函数名和修复建议的结构化报告供工程师审核。
针对 Amazon SageMaker AI 上自托管 TTS 端点自动扩缩容目标靠猜的问题，该方案将 82M 参数的 Kokoro-82M 以自定义容器部署在实时端点上，用实测的 Q_max（单实例在 SLO 内可承受的最高并发）和 T_total（一次扩容端到端耗时）通过算术推导出扩容阈值、缩容阈值和两个冷却时间。
Celonis 企业 AI 首席科学家 Devavrat Shah 提出“决策智能”概念，认为 AI 智能体要真正支撑企业决策，必须理解每项任务在业务流程中的角色及其所处业务条件，否则会忽略关键约束、造成代价高昂的错误或浪费算力。
他建议企业先把 AI 接入现有流程与数据，通过上下文层让智能体理解工作流、在既定护栏内运行，并输出可供人工审核批准的建议。落地路径是从一个具体业务决策切入，找出其中最困难的环节，测试 AI 能否改善，再以速度与价值增益判断是否值得扩展。这一做法还可能改变员工的时间分配，但需要投入员工教育，使其能理解 AI 输出及其影响，而非直接把决策交给智能体。
AI 推理产生的后端数据正在成为被低估的基础设施成本。
WD 内部测量显示，一段 8 秒、用户端仅 3.97MB 的 720p 视频，在后端留下超过 500MB 的日志、缓存上下文、即时渲染、备份和安全记录，是输出文件大小的 130 倍。McKinsey 预计到 2030 年 AI 推理需求年复合增长 35%，高于训练的 22%，届时将占数据中心总需求四成以上。WD 委托 IDC 对 763 名 IT 与业务决策者的调查显示，近 95% 受访者称过去 12 个月生成式 AI 带来数据量增长，约 61% 增幅达 25% 或以上；96% 预计需要更快的归档检索来支持推理或 RAG。
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并同步发布 deepseek-recipe 处理层。
官方工程报告称单集群每天服务 155 万亿 tokens、输入缓存命中率 96%、首 token 平均 400 毫秒、生成速度 230 tokens/s（编码场景 300 tokens/s），非高峰时段每加速器小时收入 38 美元。该框架基于 vLLM 定制，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，覆盖 NVIDIA 与华为昇腾平台。KV 缓存管理和负载均衡等组件因与内部基础设施耦合尚未完全开放，完整线上服务仍需自行补齐编排。
DeepSeek 开源生产推理栈并披露单集群吞吐与单卡收入，读者可据此了解其缓存分层与调度设计，以及哪些组件尚未开放。
Tenex 联合创始人 Alex Lieberman 与 CJ Hess 在 AIE New York 分享了公司如何把"按交付成果付费"的模式扩展为面向财富 2000 强企业的 AI 原生软件开发生命周期（SDLC）。
Tenex 仍将故事点作为工程薪酬的重要组成，Alex 称虚报估算、为刷分交付劣质代码等担忧并未成为主要问题，公司已发展到 75 人，客户分为财富 2000 强与中型企业两类。CJ 介绍了 MetaHarness：一套共享技能、项目文档与 CLI，计划与决策随代码一起提交到 Git，使智能体接手任务时能读到"为什么这样建"。Tenex 也指出，这种结构对小团队单一项目可能过重。
i14 与 AWS 合作，通过 TorchNeuron Native 的原生 PyTorch 支持，将采用 Gated Linear Attention（GLA）的 Laplace 3B 线性注意力模型带到 AWS Trainium2，并保留了其 GLA 设计与 Muon 优化器。该模型每序列的循环状态固定为 29.5 MB，不随上下文长度增长，训练注意力从 O(T²) 降至 O(T)。在单台 trn2.48xlarge 实例上，Laplace 3B 训练速度约 120,000 tokens/s，并在 1,280 条并发序列下实现 11,544 output tokens/s 的服务吞吐。
Simon Willison 用 Claude Code 开发了一款 Command & Conquer 风格的浏览器 RTS 游戏 Battle Drones，支持两台邻近设备通过音频消息同步游戏状态实现多人对战。
项目经历 12 个大版本迭代、321 次由编码智能体（主要是 Claude Code）提交的 commit，可在手机和桌面浏览器运行。游戏包含 9 种建筑、7 种地面载具、6 种空中载具、3 种步兵单位，全部为 3D 模型，另有战争迷雾、6 张地图覆盖 5 种生物群系、随机地图生成器、Skirmish 与 Last Stand 模式、AI vs. AI 以及两个 LLM 对战的 Agent vs. Agent 模式。
SF Compute CEO Evan Conrad 在 Latent Space 播客中表示，算力市场要变得可交易，先要解决物理交割问题，即买家拿到的是可用算力，而不只是按指数结算的现金。
他称公司已从转租集群扩展到承担云的大部分运营能力，目前约 5% 的总容量进入订单簿，客户花 100 美元购买容量后平均能通过转售收回 25 美元。订单簿支持按中断容忍度、存储配置、GPU 代际等约束匹配买卖单，合约期限可覆盖 3 到 5 年。他认为 NVIDIA 和大型云厂商因自身硬件或推理业务利益难以运营中立交易所，而现金结算应建立在物理交割之上，否则指数容易被操纵、与真实采购成本脱节。
DeepSeek 以 Apache License 2.0 开源了内部推理框架 DeepInfer，它是支撑 V4.1-Flash 模型大规模快速出答案的服务软件。
该框架基于 vLLM 构建，加入了优化的计算内核、跨多芯片的分布式处理和更快的文本生成技术。DeepSeek 同时发布 deepseek-recipe，复现官方 API 的 token 处理，使自托管环境的行为与官方一致，并称未来模型的代码也将开源。公司表示目标是帮助社区降低算力成本、减少能耗，让 AI 更可负担；文章同时指出，这一发布也会给 OpenAI、Anthropic 等西方厂商带来价格压力。
Google 周二宣布开源 TorchTPU，这是其 PyTorch 版本，可让 AI 应用运行在 Google 的 TPU 上，开发者只需修改配置、无需重写代码即可把现有 PyTorch 应用迁移到 TPU 和 Google Cloud。
PyTorch 由 Meta 于 2016 年开发，2022 年交给 Linux Foundation，据称约 85% 的 AI 应用使用它。
Smartsheet 已正式发布（generally available）Model Context Protocol（MCP）Server，AI 助手可通过标准化协议读取、写入和管理 Smartsheet 数据，覆盖探索、创建和管理表格、行、列与自动化等 40 多个工具。
用户可用自然语言更新任务状态、创建行、调整项目结构。该服务提供三个区域端点，采用 Streamable HTTP 传输（MCP 规范版本 2025-06-18 和 2025-03-26），支持 OAuth 2.0 或 Personal Access Token 认证。
Mistral AI 发布 Voxtral 3，一套面向实时语音智能体的模型家族，包含语音转写模型 Voxtral Small Transcribe 3、语音合成模型 Voxtral Mini TTS 3，以及基于 LiveKit 的语音智能体 SDK，把听、思考、工具调用和说话整合进同一条流式流水线。转写覆盖 50 多种语言，语音合成支持 35 种以上语言和 50 种方言，并带情感适配；智能体可在实时对话中调用外部系统，例如预约或查询发票。Mistral 称系统可部署在自有基础设施或通过欧盟托管的 API 运行，转写价格从每分钟 0.0035 美元起。
Smartsheet 已在 AWS 上推出正式可用的 MCP Server，AI 助手可通过标准化协议读取、写入和管理 Smartsheet 数据，覆盖探索、创建和管理表格、行、列及自动化等 40 多个工具。
用户能用自然语言更新任务状态、创建行和调整项目结构。该服务提供三个区域端点，采用 Streamable HTTP 传输（MCP 规范版本 2025-06-18 和 2025-03-26），支持 OAuth 2.0 或 Personal Access Token 认证。
Octave 在 Amazon Bedrock 上为质量管理平台 Reliance 搭建了多租户 AI 基础平台，使单个用例的部署时间缩短 50%。
该平台服务医疗设备、制药和食品制造领域的 650 多家企业客户，各租户数据严格隔离，检索逻辑、向量存储和生成上下文均限定在单一租户内。
在 Amazon SageMaker HyperPod 上，团队用 SFT 与 GRPO 微调开源推理模型 GPT-OSS-20B，使其按指定语言进行链式推理。
该模型原本几乎只用英文思考：在 50 例多语言推理测试中，基础模型仅 22% 的样本用正确目标语言推理，其中英文 100%、法文 0%、德文 10%、西班牙文 0%、意大利文 0%。训练数据为 HuggingFaceH4/Multilingual-Thinking，约 949 条训练样本、50 条验证样本，覆盖英法德西意五种语言。结论是 SFT 承担主要工作，GRPO 在模型已有一定成功概率时带来可测量的增益；团队另用 Qwen2.5-7B 做对照实验验证这一判断。
Amazon Quick 与 Amazon Bedrock AgentCore 组合，让供应链管理者用自然语言直接查询 ERP、监控、采购等分散系统并获得可执行答案。
AgentCore 作为智能层，通过 Gateway 将企业 MCP 服务器暴露为可组合工具层，Runtime 提供无服务器托管，Identity 负责认证，Policy 在执行前拦截每次工具调用。演示中，管理者用三步提示完成从发现中断到发出紧急 RFQ：识别出 TechComp 停产影响 23 笔订单、$750K 风险敞口和三天库存，并串联治理与报价 MCP 生成合同对齐报价。
Eon 基于 Amazon Bedrock AgentCore 搭建了统一的 MCP Gateway，把原先分散在各工具上的凭证和本地 MCP 进程替换为单一认证网关，让开发者和自主智能体统一访问跨 AWS、GCP、Azure 的调查工具。
新工程师配置全部调查工具的时间从约两天缩短到约两分钟。该方案组合了 AgentCore Gateway、Policy、Runtime 和 Identity：人类通过企业 SSO 经 Amazon Cognito 获取 JWT 接入，智能体则用 client_credentials 授权直连网关。
AWS 与 Keyfactor 联合发布参考架构，用 X.509 PKI 为 AI 智能体建立可验证、可撤销的加密身份，填补 MCP 缺乏内置认证标准的空白。
方案基于 Keyfactor EJBCA 与 Amazon Bedrock、AWS Strands Agents SDK，采用四类机制：签名请求信封提供每次调用的持有证明，用户签名的委托断言让智能体无需共享凭证即可获得授权，RFC 8693 受众限定 token 限制单个 token 泄露的影响范围，实时 OCSP 吊销检查将凭证变更即时同步到所有智能体。架构分用户认证、智能体间认证、MCP 认证三层，分别校验用户身份与凭证绑定、调用方身份与请求新鲜度、完整授权链。
AWS 发布教程，介绍用 AWS Agent Registry 让智能体在运行时按语义搜索发现 MCP 服务器和 A2A 智能体，再动态构建客户端执行请求。
Registry 记录包含可搜索描述和协议描述符，但不返回调用凭证，认证需通过 Cognito OAuth 或 boto3 签名另行获取；只有完成审批流程的记录才会出现在可发现数据面。示例部署订单管理 MCP 服务器、两个 A2A 智能体和编排器，演示仅 MCP、MCP 加 A2A、以及工具名不含“退货退款”但靠描述语义匹配三种场景。作者指出小规模稳定目录或固定流水线仍适合构建期硬编码，搜索质量取决于描述与查询设计。
加拿大区域的 Amazon Bedrock 用户现可通过跨区域推理（CRIS）访问 OpenAI GPT-6.1 Sol、GPT-6（Astra、Sol、Luna）和 GPT-5.6（Sol、Terra、Luna），源区域为 Canada (Central) 与 Canada West (Calgary)，推理在北美境内处理。这些模型支持文本与图像输入、100 万 token 上下文窗口、推理模式和工具调用，并支持提示词缓存，可通过 OpenAI Responses API、Chat Completions API 和 Amazon Bedrock Converse API 调用。
Mistral 发布 Voxtral 3 语音模型家族，包含语音转写与语音合成模型，以及基于 LiveKit 的语音智能体 SDK，把听、推理、工具调用和说合成一条实时流式流水线。
转写模型 Voxtral Small Transcribe 3 支持 50+ 语言、说话人分离和上下文偏置，官方称其表现优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe；实时版在 35+ 语言下延迟低于 500ms。合成模型 Voxtral Mini TTS 3 支持 35+ 语言和 50+ 方言，可按上下文调整情绪、语速和重音，定价 $13/1M 字符。
Mistral 把语音识别、推理与语音合成串成一条实时流水线，读者可据此判断语音智能体的搭建门槛和部署选择。
AWS 博客展示如何用 AtScale 作为语义层、配合 Amazon Bedrock AgentCore 构建面向智能体 AI 的 Customer 360 方案。
AtScale 采用维度模型（维度、层级、度量），用基于 YAML 的开放规范 Semantic Modeling Language 编写并纳入 Git 版本管理，单个已部署模型可同时通过 SQL、XMLA 和 MCP 三种协议对外暴露。
本系列第三篇用 Strategy Mosaic 作为语义层，在 Amazon Redshift 与 Amazon Aurora 上以两个链接模型建模 Customer 360 域，无需 ETL，并通过 MCP 端点让托管在 Amazon Bedrock AgentCore 上的 Strands 智能体访问。