一、什么是 Token?
Token(词元)是 AI 模型处理文本的最小单位。
它不是按”字数”算的,而是按词块算的。一个 Token 可能:
- 是 1 个汉字
- 是 1-2 个英文字母
- 是 1 个标点符号
- 也可能是单词的一部分(比如 “AI” 算 2 个 Token,”tokenization” 算 3-4 个)
简单理解:Token = 模型的”一顿饭”🍽️
二、为什么 Token 这么重要?
1. AI 思考的基本单位
模型不像人类那样”认识字”,它只认识数字。Token 就是把文字转换成数字的桥梁。每个 Token 都有一个对应的数字 ID,模型通过处理这些 ID 来理解和生成文字。
2. 成本计算的依据
你用 AI API 付的钱,大部分是按 Token 数量 计费的。输入的 Token + 输出的 Token = 总消耗。
3. 上下文窗口的限制
每个 AI 模型都有一个”记忆上限”,叫上下文窗口(Context Window)。比如 4096 Token、128K Token。这个上限决定了模型能同时”看到”多少内容。
三、为什么 OpenClaw 那么费 Token?
使用 OpenClaw 时感觉” Token 消耗很快”,主要有以下原因:
1. 系统提示词(System Prompt)很长
OpenClaw 带有详细的 AGENTS.md、SOUL.md、TOOLS.md 等文件,这些在每次对话时都需要发送给模型。光是这些配置文件,可能就消耗了几千个 Token。
2. 工具描述占用大量 Token
OpenClaw 内置了几十个技能的 SKILL.md 文件。当你使用某个功能时,模型需要读取这些技能说明,这些内容都会被送进上下文。
3. 多轮对话累积
每次对话的完整历史都会被保存,供模型理解上下文。对话越长,累积的 Token 越多。
4. 调试信息和元数据
工具返回的结果、错误信息、代码片段等,也都会计入 Token 消耗。
四、一个形象的比喻
想象你请了一个过目不忘的助理:
- 你跟他说的每一句话,他都会完整记住
- 他工作用的手册有几百页,每次对话都要看一遍
- 他用的草稿纸(上下文窗口)有限,用完就得擦掉旧的
这就是为什么你感觉”没说几句话,Token 就用完了”——因为背后处理的内容远比你看到的文字多得多。
五、省 Token 的技巧
- 精简系统提示词 — 删减不常用的 AGENTS.md 内容
- 定期开启新对话 — 避免历史累积
- 减少技能文件 — 只保留常用的 SKILL
- 简洁提问 — 一句话能说清楚的,别用三句
总结
Token 不是玄学,它是 AI 模型的”粮食”。每一次对话、每一个工具调用,都是在消耗 Token。理解 Token 的原理,能帮助你更高效地使用 AI 工具,也能更好地控制成本。
下次感觉 AI 费 Token 的时候,记得:它可能在认真读你给它的”员工手册”呢。 📖