Token（令牌）

定义

Token 是文本被 Tokenizer 切分后的最小片段，是模型处理文本的真正底层计量单位。Token 不等于自然语言中的"词"。

关键认知

• Token 不等于"词"：Tokenizer 按统计规律切分文本，与人类对"词"的理解不同
• 中文 Token 估算：1 个 Token 约等于 1.5 到 2 个汉字
• 英文 Token 估算：1 个 Token 约等于 0.75 个单词
• Token ID：每个 Token 根据词表映射成一个唯一编号

工程意义

• 计量单位：API 计费、上下文容量、吞吐能力均按 Token 计算
• 成本控制：Token 消耗直接决定使用成本
• 容量规划：Context Window 以 Token 为单位衡量
• 性能优化：减少不必要的 Token 消耗可提升响应速度

与相关概念的关系

• [[Tokenizer]]：负责将文本切分为 Token 的组件
• [[LLM]]：模型预测的基本单位是 Token
• [[Context-Window]]：以 Token 数量衡量的模型处理容量
• [[RAG]]：通过检索减少不必要的 Token 消耗