Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在解码阶段因 token 批量过小导致 Hopper GPU 利用率低的问题,AWS 通过 Swap-AB 转置让专家维度 N=8192 占据 WGMMA 首个操作数位置,在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升,该优化已合入 vLLM 0.24.0 及以上版本。
针对 MoE 模型在解码阶段因 token 批量过小导致 Hopper GPU 利用率低的问题,AWS 通过 Swap-AB 转置让专家维度 N=8192 占据 WGMMA 首个操作数位置,在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升,该优化已合入 vLLM 0.24.0 及以上版本。
Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。
围绕开放模型应否开放,Nvidia CEO 黄仁勋主张美国大力发展,Anthropic 的 Dario Amodei 则呼吁更谨慎。目前闭源模型能力仍更强,Artificial Analysis LLM 榜单前八名均为闭源,但开放模型在开发进度上仅落后数月。
AWS 发布面向多节点部署的 Ray LLM Deep Learning Containers,可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署,将 prefill 与 decode 分离到不同节点并统一在一个 OpenAI 兼容端点后。
TypeSafe 宣布 Series AI 融资,Sequoia 透露其产品 Jev 上线首周 ARR 突破 1 亿美元,公司估值达 75 亿美元。
Periodic Labs 联合创始人 Liam Fedus 与 Ekin Dogus Cubuk 在 Latent Space 播客中提出“合成超级智能”(synthesis superintelligence),主张 AI 科学发现需以物理实验为强化学习环境,而非仅靠更多互联网数据训练。
Mistral 称其新模型 Le Chonk 在保持开放权重的同时,性能可媲美顶尖闭源模型。
该模型被定位为能挑战最强 AI 模型的开源方案。
Latent Space 采访了 Kubernetes 创始人 Craig McLuckie 和 Joe Beda,他们创办的 Stacklok 已从软件供应链安全转向基于 Kubernetes 的智能体基础设施,核心产品是 6 月开源的云原生 harness Mecatl。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
Mistral 在慕尼黑开设德国中心,组建专注 Physics AI 与工业 AI 的研究团队,并计划到 2030 年建成 1 吉瓦欧洲算力。
该中心将与 BMW 合作碰撞仿真与工程 AI、与 Siemens Energy 合作工业 AI 应用,并与慕尼黑工业大学(TUM)合作利用风洞设施开发汽车空气动力学数字孪生。
GPT-6 Astra 与 Fable 5.1 已能可靠完成数周人类工作量,但现有模型能力被严重低估和使用不足。
Ethan Mollick 用 GPT-6 Astra 将 1977 年文字冒险游戏 Zork 改造成可玩的 3D 动作冒险游戏,并让 Fable 5.1 依据视频和照片在 3D 中重建 Umberto Eco 约 5000 本书的米兰书房。
Mistral 宣布与 Mozilla 达成合作,Mozilla 的 AI 浏览助手 Firefox Smart Window(beta)现由 Mistral 模型驱动,帮助用户理解复杂搜索、回溯此前点击的内容,并基于浏览器标签页整理信息。
Mistral 与 HUMAIN 宣布战略合作,覆盖 AI 基础设施、先进模型开发与 AI 解决方案部署,合作规模达数亿欧元。
双方将优先聚焦网络安全与语音领域,并计划开发阿拉伯语表现强劲的前沿模型,Mistral 还将探索使用 HUMAIN 数据中心基础设施。双方计划在沙特制定联合市场策略,面向受监管行业提供 AI 解决方案。