分词器

分词器

分词器（Tokenizer）是模型将文本转换为Token的工具。

Claude Opus 4.7的新分词器

[[Claude Opus 4.7]]采用了全新的分词器，对文本的处理更加高效。
导致相同文本的Token消耗量增加了约1.0至1.35倍。
尽管API定价维持不变，但实际使用成本有小幅上升。