跳到正文

搜索“GPT-6 Astra”

找到 4 条 · 更新于 00:24
10月13日周二
10月9日周五
10月27日周二
  1. AWS Machine Learning BlogAI 评分46

    在 Amazon Bedrock 上使用 OpenAI 模型:AI 智能体的提示词缓存模式

    在 Amazon Bedrock 上调用 OpenAI 模型时,提示词缓存可让智能体复用已处理的输入前缀,避免每一轮都按全价重读工具定义、指令和历史。

    模型每次请求都要重新预填充全部输入 token 并构建 KV 向量,缓存则保存该状态,后续请求只处理新增内容。缓存分隐式与显式两种:隐式由 Bedrock 自动决定可复用前缀的终点,显式通过 prompt_cache_breakpoint 标记边界,两者可结合使用。可复用前缀需达到 1,024 token;测试中约 4,000 token 的工具与指令前缀首次写入 4,120 token,后续请求直接读取同样数量。

10月14日周三