热点事件历史事件

Amazon Bedrock 上 OpenAI 模型的提示缓存用法

1 篇报道1 个报道来源7 天前更新

先了解这件事

AI 综述

AWS Machine Learning Blog 发布教程，介绍在 Amazon Bedrock 上调用 OpenAI 模型时使用提示缓存：智能体可复用已处理的输入前缀，避免每轮按全价重读工具定义、指令和历史。缓存分隐式与显式，隐式由 Bedrock 自动决定可复用前缀的终点，显式通过 prompt_cache_breakpoint 标记边界，两者可结合。可复用前缀需达到 1,024 token 才符合条件；缓存前缀最短存活 30 分钟，成功复用会刷新，也可能更久。复用已有缓存内容要求同一模型、AWS 账户和区域，且存在匹配前缀。缓存写入按正常输入价格的 1.25 倍计费。教程测试中，约 4,000 token 的工具与指令前缀首次写入 4,120 token，后续请求直接读取同样数量。

AI 根据报道生成 · 7 天前更新

最新进展10月27日 01:27

在 Amazon Bedrock 上使用 OpenAI 模型：AI 智能体的提示词缓存模式

报道时间线

沿着报道，了解事件的不同侧面。

10月27日

01:27
AWS Machine Learning Blog
在 Amazon Bedrock 上使用 OpenAI 模型：AI 智能体的提示词缓存模式
在 Amazon Bedrock 上调用 OpenAI 模型时，提示词缓存可让智能体复用已处理的输入前缀，避免每一轮都按全价重读工具定义、指令和历史。模型每次请求都要重新预填充全部输入 token 并构建 KV 向量，缓存则保存该状态，后续请求只处理新增内容。缓存分隐式与显式两种：隐式由 Bedrock 自动决定可复用前缀的终点，显式通过 prompt_cache_breakpoint 标记边界，两者可结合使用。可复用前缀需达到 1,024 token；测试中约 4,000 token 的工具与指令前缀首次写入 4,120 token，后续请求直接读取同样数量。

本事件热度走势

可比范围当前: 3
可比范围峰值: 1010月27日 03:00
近 24 小时变化: -51%

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。