跳到正文
Simon Willison·· 15 天前AI 评分18

llm-echo 0.5 发布:调试插件更新模拟 token 用量统计

llm-echo 0.5

AI 导读

Simon Willison 发布 llm-echo 0.5,这个调试插件提供一个不涉及 LLM 的“模型”,只把收到的提示词原样回显。

摘要与补充说明

新版本更新了模拟 token 用量计数,将工具调用、系统提示词和推理 token 纳入统计。示例中通过 `uvx --with llm-echo llm -m echo 'hi there' -o thinking 1 --usage` 调用,输出显示 2 个输入 token、24 个输出 token。该插件用于配合即将到来的新 LLM 版本测试 PR。

正文· AI 翻译

我正在为一个新的 LLM 发布做准备,测试 PR 让我重新审视了 llm-echo 调试插件。这个插件提供了一个完全不涉及 LLM 的“模型”——它只是把喂给它的提示词原样重复回来。新版本现在会更新模拟的 token 使用计数,将工具调用、系统提示词和推理 token 都纳入计算。

示例用法:

uvx --with llm-echo llm -m echo 'hi there' -o thinking 1 --usage

输出:

First I consider the prompt, then I decide what to say.
{
  "prompt": "hi there",
  "system": "",
  "attachments": [],
  "stream": true,
  "previous": []
}
Token usage: 2 input, 24 output

相关阅读

专题与标签

相关资讯专题