跳到正文
只看一手

搜索“GLM-5”

找到 2 条 · 更新于 23:40
10月29日周四
  1. Mistral AI 精选AI 评分87

    Mistral 开源 1 万亿参数多模态模型 Mistral Large 4（Le Chonk）

    Mistral 发布 Mistral Large 4（Le Chonk）的开放权重，这是一个 1 万亿参数的原生多模态模型，在公开预览基础上继续做强化学习，编码与防御性网络安全能力提升。

    在 Artificial Analysis Coding Agent Index 上得分 48%，与开源领先模型 GLM-5.3 基本持平，但每任务平均少用 47% token；Terminal-Bench 4.0 从预览版提升 13 个百分点至 41%，输出 token 减少 30%。

    关注点

    Mistral 公开了 1 万亿参数多模态模型的权重，并给出编码与安全基准及三种推理档位，可据此评估自托管成本。

10月20日周二
  1. AWS Machine Learning BlogAI 评分55

    AWS 在 vLLM 中实现双向 KV 传输，降低多轮智能体负载的 TTFT

    AWS 团队为 vLLM 加入双向 KV 传输，让 decode 节点在后续轮次把已算好的 KV 缓存回传给 prefill 节点，避免重复计算对话历史。

    在 Amazon EC2 P5en 实例、EFA 网络、1P1D 部署下，最长提示长度时 Qwen3-32B 的 TTFT 降低约 1.6 倍，zai-org/GLM-5-FP8 降低约 3.3 倍，结果随负载和配置变化。该功能由可配置的 KV 缓存保留 TTL（decoder_kv_blocks_ttl，默认 480 秒）和重算阈值（kv_recompute_threshold，默认 64 tokens）控制，并需要配合 KV-cache-aware 路由使用。