Anthropic 在 Claude 平台公测 Message Threads，长对话首 token 时间降低约 35%
Anthropic's Message Threads cut time to first token by 35 percent for long conversations
AI 导读
Anthropic 在 Claude 平台推出 Message Threads 公测。
摘要与补充说明
此前每次 API 请求都要重发完整对话历史，新机制只传输上一条消息之后发生变化的部分，据 Anthropic 数据，50 万至 100 万 token 的请求首 token 时间降低约 35%。该功能对编码智能体、计算机使用智能体和处理大量文档或图像的工作流收益最大。线程在两次请求之间以加密形式保存在内存中，闲置 5 分钟后过期；由于 Claude 仍会读取完整对话历史，token 用量不变。该功能可在 Claude 平台以及 AWS、Microsoft Foundry 和 Google Cloud 上使用。
正文· AI 翻译
Anthropic 在其 Claude 平台上以公开测试版形式发布了 Message Threads。 在此之前，每个 API 请求都必须重新发送完整的对话历史。Message Threads 只传输自上次消息以来发生变化的内容，据 Anthropic 称，对于 50 万到 100 万 token 之间的请求，首 token 时间缩短了约 35%。
该公司表示，编码智能体、计算机使用智能体以及处理大量文档或图像的工作流受益最大。线程在请求之间以加密形式保留在内存中，并在闲置五分钟后过期。token 用量不会改变，因为 Claude 仍会读取完整的对话历史。该功能可在 Claude 平台以及通过 AWS、Microsoft Foundry 和 Google Cloud 使用。详情见文档。
没有炒作的 AI 新闻——由人工精选
订阅 THE DECODER，享受无广告阅读、每周 AI 新闻通讯、每年六次独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。