跳到正文

#部署/工程

10月20日周二
  1. AWS Machine Learning BlogAI 评分34

    用 Denodo 和 Amazon Bedrock AgentCore 在 AWS 上为智能体 AI 构建语义层

    本教程演示如何用 Denodo Platform 作为语义层、配合 Amazon Bedrock AgentCore 托管智能体,构建跨 AWS 与本地数据源的 Customer 360 查询方案。

    Denodo 将 Amazon Aurora、Amazon Redshift 和本地 PostgreSQL 中的客户资料、订单历史与奖励账户三张表联邦为单一 customer_360 视图,智能体通过 Denodo MCP Server 以 VQL 查询,无需 ETL 搬移数据。

  2. MIT Technology Review · AIAI 评分18

    企业 AI 的新经济学:从 token 成本转向有效产出成本

    企业 AI 的衡量重心正从 token 或 GPU 小时单价,转向"每个有用产出的有效成本",即完成可被业务使用的请求或工作流所需的平台、模型、运营与算力总成本。

    企业通常有三种运行方式:自建定制栈灵活但需随模型与政策变化持续重新验证;按需消费适合需求低或不确定的场景,但每次提示词或智能体动作都会推高费用;集成式私有 AI 平台则以自有或专用算力配合经验证的栈,通过调度、模型选择、GPU 分区和缓存管理控制效率。

  3. Hugging Face Blog 精选AI 评分75

    Hugging Face 接入 TorchTPU,Transformers 与 Diffusers 原生支持 TPU

    Hugging Face 宣布接入 TorchTPU 这一 PyTorch 原生 TPU 后端,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,不再需要 Optimum TPU 或 torch_xla。

    加载模型时传入 device_map="tpu" 即可,Diffusers 只需 pipe.to("tpu"),编译模式再加一次 compile 调用;超出单芯片显存的模型可通过 TensorParallelConfig 在加载时分片到多芯片。

    关注点

    Hugging Face 生态原生支持 TPU 后,PyTorch 用户不必再迁到 torch_xla 或 JAX,现有模型代码改一个设备参数即可运行。

  4. Hugging Face BlogAI 评分58

    Hugging Face 发布 AnyLanguageModel 1.0,统一 Apple 平台本地与托管模型调用

    Hugging Face 发布 AnyLanguageModel 1.0,同时推出 swift-huggingface 1.0 和 swift-xet 1.0。

    该库是 Apple Foundation Models 框架的兼容替代品,开发者只需把 import FoundationModels 改为 import AnyLanguageModel,同一段会话代码即可调用系统模型、经 llama.cpp、MLX、Core ML 运行的开放权重模型,以及 OpenAI、Anthropic、Google Gemini、Ollama、Hugging Face Inference Providers 等托管服务。

  5. The DecoderAI 评分58

    Cloudflare 发布文档抽取模型 Clairic,称比 LLM 更快更便宜

    Cloudflare 发布 AI 模型 Clairic,称其从文档中抽取数据比大语言模型更快、成本更低。

    Clairic 已在 Workers AI 上提供预览,开放权重即将跟进。用户指定所需字段(如订单号或发票总额),模型一次性返回对应值、正确格式和置信度;它不逐 token 生成文本,而是单次回答所有字段,缺失值返回 null,还能做简单计算、估算和预测。Cloudflare 希望它作为智能体链路的一环与 LLM 及其他 System One 模型(如 Jev)配合:例如处理投诉邮件时,Clairic 提取订单号、金额和损坏情况并估算维修费用,决策模型 Clef 按公司规则在退款与维修间选择,GLM-5.3 撰写回复。

  6. AWS Machine Learning BlogAI 评分36

    AWS 新注册体验上线:开发者几步即可进入 SageMaker Studio

    AWS 新客户现在可通过 Google、GitHub、Apple、Amazon 账号或邮箱,在 2–3 步内注册并自动进入配置好的 SageMaker Studio 环境,环境创建约需 20 秒。

    新客户无需完成高级 AWS 账户注册、验证手机号,多数也无需输入信用卡。新客户可获得 $100 AWS Free Tier 额度,用于 SageMaker AI 的模型定制、训练任务、Studio notebook 和端点部署,还有机会再获得 $100 额度;额度用尽或 6 个月到期后资源自动停止。

  7. AWS Machine Learning BlogAI 评分33

    Amazon SageMaker JumpStart 2026 年至今回顾:新增 100+ 模型、覆盖 30 家提供商

    Amazon SageMaker JumpStart 在 2026 年 1 月至 9 月间新增超过 100 个模型,来自 30 家不同提供商。

    贡献最多的是阿里云千问(Qwen),共 29 个模型,覆盖推理、MoE、智能体、代码生成、语音识别、TTS、嵌入向量与重排序;NVIDIA 贡献 17 个,包括 Cosmos3 世界基础模型系列与 Nemotron 系列。Mistral 新增 7 个模型,Google 新增 6 个 Gemma 4 变体,IBM 与 Cohere 各新增 4 个。

  8. TechCrunch · AIAI 评分65

    AWS 发布 TorchNeuron 开发工具,让 PyTorch 应用改一行配置即可跑在 Trainium 上

    AWS 周一发布开发工具 TorchNeuron,让用 PyTorch 编写的 AI 应用只需改动一行配置就能运行在亚马逊自研芯片 Trainium 上,无需重写代码。

    亚马逊称约 85% 的 AI 应用用 PyTorch 编写,而 Nvidia 多年来让 CUDA 无缝支持 PyTorch,使其硬件默认嵌入这套工具链。TorchNeuron 改编自 PyTorch,熟悉 PyTorch 的开发者可直接上手;AMD GPU 和 Apple 芯片此前也支持通过简单配置迁移。AWS 表示 Trainium 同一芯片兼顾训练与推理,并与云基础设施集成,语音应用厂商 Deepgram 迁移后每美元处理的音频量提升 70%。

  9. Hugging Face Blog 精选AI 评分62

    Hugging Face 推出 TorchNeuron,让模型在 AWS Trainium 上原生运行

    Hugging Face 发布 TorchNeuron,为 PyTorch 在 AWS Trainium 上提供原生后端,Transformers、Diffusers、Accelerate、PEFT 和 TRL 可直接把 Neuron 当作普通设备使用。

    该后端支持 eager 模式、torch.compile 以及 FSDP2、DTensor 等原生分布式接口,用户只需传入 device_map=neuron 即可把模型移到 Neuron 设备上。官方称,在 TorchNeuron 下,前 100 个最常用文本生成模型架构中有 89% 开箱即用,而 Optimum Neuron v0.4.5 为 46%。

    关注点

    Hugging Face 官方说明 Trainium 原生后端如何改变模型加载与训练方式,并给出可直接复用的代码示例。

  10. TechCrunch · AIAI 评分58

    Tenstorrent 以 62 亿美元估值融资 15 亿美元,扩展开放权重 AI 芯片

    芯片初创公司 Tenstorrent 以 62 亿美元估值完成 15 亿美元融资,本轮由 Trace Capital 和 Innovation X 领投,Cadence Ventures、Eclipse、Fidelity、SanDisk 和 T. Rowe Price 参投。

    这一估值较 2024 年底的 26 亿美元翻了一倍多。Tenstorrent 专注推理芯片,CEO Jim Keller 向 Bloomberg 表示,公司在展示其 Galaxy 服务器可运行 DeepSeek 模型后,决定保持独立并继续融资。新资金将用于扩展面向开放权重 AI 模型和视频生成的芯片。

  11. TechCrunch · AIAI 评分34

    Laplace Intelligence 为机器人和自动驾驶汽车做红队测试

    Laplace Intelligence 正在为机器人和物理 AI 构建自动化红队测试,通过高保真仿真在部署前发现并修复问题。

    其仿真环境基于 Nvidia Cosmos 的后训练版本,可结合 Google Street View 图像与真实地图数据重建亚利桑那州高速公路、巴黎人行横道等场景,并从 TomTom 获取实时交通信息。核心卖点是自动设计 corner case 的 AI 智能体,可从新闻和警方碰撞报告中提取信息主动挑战自动驾驶系统。公司已产生收入并实现小幅盈利,客户包括自动驾驶卡车公司 Bot Auto 和一家日本大型车企,同时与 Nvidia、T-Mobile 在加州圣何塞开展免费智慧城市试点。

  12. AWS Machine Learning BlogAI 评分58

    TwelveLabs Pegasus 1.5 上线 Amazon Bedrock

    TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线,可将长视频按用户定义的分段规则切分,并返回带起止时间的结构化 JSON。

    相比 Pegasus 1.2,单次请求可分析的视频时长从 1 小时提升到 2 小时,并新增视频分段、结合参考图的多模态提示和免预索引的即时处理。模型通过 InvokeModel 或流式接口调用,视频可直接从 S3 读取,也可用不超过 25 MB 的 base64 内联传入,支持最长 2 小时、最大 2 GB 的视频。目前仅在美国西部(俄勒冈)区域提供,费用经 AWS Marketplace 计入 TwelveLabs 账单。

  13. AWS Machine Learning BlogAI 评分55

    AWS 在 vLLM 中实现双向 KV 传输,降低多轮智能体负载的 TTFT

    AWS 团队为 vLLM 加入双向 KV 传输,让 decode 节点在后续轮次把已算好的 KV 缓存回传给 prefill 节点,避免重复计算对话历史。

    在 Amazon EC2 P5en 实例、EFA 网络、1P1D 部署下,最长提示长度时 Qwen3-32B 的 TTFT 降低约 1.6 倍,zai-org/GLM-5-FP8 降低约 3.3 倍,结果随负载和配置变化。该功能由可配置的 KV 缓存保留 TTL(decoder_kv_blocks_ttl,默认 480 秒)和重算阈值(kv_recompute_threshold,默认 64 tokens)控制,并需要配合 KV-cache-aware 路由使用。

  14. AWS Machine Learning BlogAI 评分42

    vLLM 推出基于 push 的 KV 传输,提升分离式推理的 TTFT 与 TPOT

    vLLM 新增 push 模式的 NIXL connector,把 prefill 之后的传输协调与准备工作移出首 token 关键路径,从而降低 TTFT 并提升 TPOT。

    在基于 Amazon EC2 P5en 实例、通过 EFA 互联的 1P1D 部署上,Qwen3-32B 的测试显示 push 模式相比默认 pull 模式 TTFT 最高提升 3 倍,TPOT 最高改善 30%,具体结果取决于负载与配置。该功能先在搭载 EFA 的 AWS Trainium 集群上构建并验证,随后作为与加速器无关的特性贡献给 vLLM,上述数据来自 GPU 集群,表明收益可延续到 GPU。

  15. AWS Machine Learning BlogAI 评分34

    Deepgram 如何用 AWS Trainium 优化大规模语音 AI

    Deepgram 将 Nova-3 语音转文字模型迁移到 AWS Trainium2,在离线批处理负载上每美元处理的音频量比原有算力方案提升 11%–70%。

    迁移从标准 PyTorch 代码起步,借助 TorchNeuron 编译后模型全部运算均在 Trainium2 上执行、无 CPU 回退,并通过 NKILib 融合算子与手写 NKI 内核继续调优:FFN 内核在 batch size 96 时延迟降低 2.0x,depthwise conv1d 提速 1.5x,自研 conv2d 内核解锁了 32 以上的 batch size。

10月19日周一
  1. The DecoderAI 评分69

    AI 云服务商洗牌将至,Nvidia 受影响最大

    在经历一周股价暴跌和 IPO 计划取消后,业内人士预计新兴 AI 云服务商(neocloud)将出现一轮洗牌,而 Nvidia 的销售高度依赖这一群体。

    据 The Information 报道,数据中心与 neocloud 行业的两名高管认为,几年后数百家 AI 云服务商中只有 7 到 10 家能存活。澳大利亚厂商 Firmus 撤回 IPO,CoreWeave 及其较小竞争对手股价下跌约 20%,Bloomberg 称 CoreWeave 市值缩水四分之一、信用风险指标创历史新高。Nvidia 通过股权投资、芯片分配、贷款担保和客户引荐扶持该行业,其非超大规模客户在 7 月季度贡献 400 亿美元,占数据中心收入的 45%。

  2. Simon WillisonAI 评分18

    llm-echo 0.5 发布:调试插件更新模拟 token 用量统计

    Simon Willison 发布 llm-echo 0.5,这个调试插件提供一个不涉及 LLM 的“模型”,只把收到的提示词原样回显。

    新版本更新了模拟 token 用量计数,将工具调用、系统提示词和推理 token 纳入统计。示例中通过 `uvx --with llm-echo llm -m echo 'hi there' -o thinking 1 --usage` 调用,输出显示 2 个输入 token、24 个输出 token。该插件用于配合即将到来的新 LLM 版本测试 PR。

10月17日周六
  1. Simon WillisonAI 评分32

    Simon Willison 发布 LaTeX renderer:把 LaTeX 源码变成可分享链接

    Simon Willison 用 Claude Code(Opus 5.5 Extra)做出了 LaTeX renderer,可将 LaTeX 源码渲染为 MathJax 排版的单条公式,或用 faster-latex 排版完整文档与散文片段,编辑器旁带实时预览,并可在 Edit 与 Rendered 视图间切换。源码支持手动输入、从 URL 或 GitHub Gist 加载,也可选用内置示例;页面把 LaTeX 保存在 URL fragment 中,可分享为可读或压缩链接。

  2. AWS Machine Learning BlogAI 评分36

    用 Amazon Bedrock AgentCore 构建 AI 智能体的生产级评估框架

    AWS 销售、营销与全球服务(SMGS)运营团队基于 Amazon Bedrock AgentCore 搭建了一套面向生产环境的多智能体持续质量评估框架,用于服务全球 AWS 现场销售。

    该框架以 AgentCore Evaluations 为核心,配合 Amazon Bedrock Guardrails、CloudWatch、S3、Redshift、Amazon Quick 和 Lambda,检查回答是否有据、正确,并追溯失败根因。

10月16日周五
  1. The Verge · AIAI 评分62

    RTX Spark 笔记本一周实测:游戏、续航与本地 AI 表现如何

    The Verge 三位作者用一周时间实测五台搭载 Nvidia RTX Spark N1X 的 Windows on Arm 笔记本,覆盖 Asus ProArt P16、HP OmniBook Ultra、Lenovo Yoga 9n 和 Surface Laptop Ultra,售价从 3199.99 美元到 6999.99 美元。游戏方面,中画质加 DLSS 性能模式在多数游戏中可稳定 60fps,但 Helldivers 2、Star Wars Zero Company 等 CPU 受限场景帧率会掉到 37 至 39fps。

  2. AWS Machine Learning Blog同新闻AI 评分62

    Reflection AI 发布开源权重模型 Beam,面向智能体编码

    Reflection AI 发布开源权重模型 Beam,面向智能体编码与长周期任务,如维护代码、调用工具、解读结果并完成多步工作流。

    Beam 是稀疏 MoE 模型,总参数 5010 亿、激活参数 230 亿,Reflection 称其有效上下文长度为 100 万 token,权重以 Apache 2.0 许可在 Hugging Face 发布,提供 BF16、FP8 和 NVFP4 三种 checkpoint。

    同一新闻,精选展示《Reflection 开源 501B 模型 Beam,支持 1M 上下文与智能体编码》

  3. Mistral AI 精选AI 评分71

    Mistral 发布时间序列基础模型 Timestral,209M 参数登顶三大基准

    Mistral 发布首个时间序列基础模型系列 Timestral,最大版本仅 209M 参数,在 GIFT-Eval、TIME 和 fev-bench 三个公开基准上均排名第一,参数量约为此前 SOTA 的三分之二。

    该系列包含 5M、28M、123M 和 209M 四个尺寸,共享同一架构与训练配方,支持概率化多变量预测以及过去协变量和已知未来协变量。推理无需 GPU,在 8 线程标准服务器 CPU 上,用三周 15 分钟粒度历史预测未来一天,5M 模型耗时 10 ms,209M 模型耗时 140 ms。

    关注点

    时间序列基础模型首次进入通用预训练范式,读者可据此判断企业传感器与金融预测场景的落地门槛。

  4. AWS Machine Learning Blog 精选AI 评分62

    Meta 的 Muse Spark Open 上线 Amazon SageMaker JumpStart

    Meta 的编码优化开源权重模型 Muse Spark Open 现已在 Amazon SageMaker JumpStart 上线,可在自己的 AWS 账户中部署到 SageMaker AI 端点,无需自行管理服务基础设施。

    该模型采用 MoE 架构,总参数 816B、每 token 激活 42B,支持 1M token 上下文窗口,输入可接受文本、图像、文档、音频和音视频,输出为文本,权重按 Muse Model License(含 Muse Spark Usage Policy)发布。

    关注点

    Meta 的编码优化开源模型首次接入 SageMaker JumpStart,文中给出两种量化变体与对应实例,可据此估算部署成本。

  5. The DecoderAI 评分74

    Nvidia 发布 Nemotron 3.5 Super VL 开源多模态模型,面向企业智能体

    Nvidia 发布 Nemotron 3.5 Super VL,一个 1200 亿参数的开源多模态模型,面向持续在后台运行的企业智能体,可处理文本、图像、文档和视频。

    该模型采用 MoE 架构,每个 token 仅激活 120 亿参数,由 Nvidia 与包含 Mistral AI、Thinking Machines Lab、Perplexity 和 Black Forest Labs 的 Nemotron Coalition 共同开发。

  6. Microsoft Research 精选AI 评分62

    微软研究院发布 Magnetar:基于标准哈希函数的通用零知识证明 zkVM

    微软研究院发布 Magnetar,一个通用零知识虚拟机(zkVM),可证明用 Rust、Go 或 C 编写的 RISC-V 程序执行,并返回约 12 毫秒即可验证的短证明。

    它在笔记本上每秒可证明 7.2 至 8.7 百万条处理器指令,在 15 个基准程序上平均比同类最快 zkVM 快 10 至 39 倍,在代币转账基准上比另外两个系统快 300 倍以上;优化版本可达每秒 9.5 至 12.8 百万周期。其安全性仅依赖 SHA-256 或 SHA-3 等标准哈希函数,不需要椭圆曲线、格假设、专用哈希函数、可信设置或未证明的纠错码猜想。该成果是微软研究院十余年零知识证明研究的延续,技术论文给出完整设计、安全分析与测量结果。

    关注点

    微软研究院公开 Magnetar 的 zkVM 设计与基准数据,读者可了解零知识证明在通用程序上的性能与安全取舍。

10月15日周四
  1. TechCrunch · AIAI 评分27

    Rivian 汽车将引入 Anthropic 等第三方 AI 智能体

    Rivian 创始人兼 CEO RJ Scaringe 在 TechCrunch Disrupt 上表示,Rivian 汽车未来将能运行 Anthropic 等外部公司开发的 AI 智能体。

    Rivian 已自研车载软件和智能体框架,可根据问题复杂度在本地端侧模型与云端模型之间调度,目前该智能体已能访问 Google Calendar 等外部应用。Scaringe 未透露具体落地时间,公司称将在 12 月的“AI & Autonomy Day”活动上公布更多细节。他强调,车辆级控制不会交给智能体,涉及刹车、转向等安全关键系统需格外谨慎,还需与各家实验室协调打通底层链路。

  2. The Verge · AIAI 评分62

    Windows 如何为 Nvidia RTX Spark 笔记本做优化

    微软与 Nvidia 为 RTX Spark 笔记本做了大量 Windows 适配,重点之一是让本地 AI 智能体在 Windows 上快速安装和运行。

    首次进入 Windows 会出现新的 Get Started 体验,用户可在两次点击内找到、安装并启动智能体,Hermes、Perplexity 和 OpenClaw 是首批官方支持的三个智能体,后续可通过 Windows Store 更新。作者实测 Hermes 基本两次点击即可启动,但 OpenClaw 因本地网关未正确安装,需卸载重装才能正常使用。

  3. AWS Machine Learning BlogAI 评分58

    AWS 提出 Trust in Depth:让智能体获得更多自主权而不失控

    AWS 副总裁 Shawn Bice 提出 Trust in Depth 框架,主张用相互独立的信任层替代逐步骤人工审批,让智能体在可验证的范围内自主行动。

    框架围绕四个问题展开:运行前界定范围(Scope)、部署时确认身份与授权(Know)、运行中约束言行(Bound)、每次运行后回溯并改进(Observe)。其中可精确表述的规则由自动推理做数学验证,无法证明的模糊判断仍交给人。

  4. Latent SpaceAI 评分67

    Modal 年化收入达 10 亿美元,完成 16 亿美元 D 轮融资

    Modal 年化经常性收入突破 10 亿美元,并以 157.5 亿美元估值完成 7.5 亿美元 D 轮融资,由 Accel 领投,5 个月内使用量和估值均增长 3 倍,一年内增长 15 倍。

    其 2023 年推出的 Sandboxes 产品单独达到 3 亿美元年化收入,累计启动近 30 亿个沙箱,可扩展至百万级并发,用例覆盖后台智能体、强化学习和 vibecoding 平台。Modal CTO Akshat 此前谈到,智能体需要支撑数百万并发沙箱、为分布式训练弹性安全地启动 RDMA 集群,以及为推理训练 speculator。

  5. AWS Machine Learning BlogAI 评分40

    用 Amazon Bedrock AgentCore 构建可自我改进的文档处理系统

    亚马逊云科技介绍如何用 Amazon Bedrock AgentCore 构建智能体式文档处理(IDP)系统,由 8 个专用智能体组成识别与训练两条工作流,自动分类、提取、校验并从新文档格式中学习。

    系统可在 20 分钟内完成部署,无需为新文档类型手动配置模板,验证失败时由 Instructions Fixer 或 Troubleshooter 智能体自动修复。

  6. Google Research 精选AI 评分66

    Google 发布地理空间推理智能体技术报告与两个新基准

    Google 发布地理空间推理智能体的技术报告,并开源 GeoKTools 和 GeoExpertQueries 两个新基准的开发集,供研究者测试自己的地理空间推理智能体。

    关注点

    Google 公开了地理空间推理智能体的技术报告与两个新基准,并给出与 WHO 等伙伴的实测案例,可据此判断专业工具加前置规划相对通用 LLM 的差距。

10月14日周三
  1. AWS Machine Learning BlogAI 评分22

    如何用 Amazon SageMaker JumpStart 部署并评测模型

    Amazon SageMaker JumpStart 提供可复用 Python 脚本,从模型目录部署模型、用示例提示词测量延迟与单请求生成速率,并在测试后删除端点。

    2026 年该服务新增 Model Hub 浏览与一键从 Hugging Face 跳转部署,并提供面向低成本、低延迟或通用负载的预配置端点选项。该流程适用于多种模型,但负载格式、实例类型、EULA 与响应解析可能需按模型调整。