9月24日的新质生产力日报里,两条消息彼此呼应:国家数据局在国家数字经济创新发展试验区建设现场会上提出,探索“词元”作为数据要素价值释放的新路径;成都首个“天府词元智造工厂”亮相,把算力调度、模型适配、词元计量、数据流通和应用赋能放进同一个公共服务平台。它们指向一个值得认真讨论的变化:AI基础设施的商品形态,正在从“服务器、GPU卡时和机柜”向更接近业务使用结果的Token迁移。
Token通常译为“词元”。在大模型系统中,一段文本会先被分词器切分为Token,模型推理的输入、输出长度及计算量都与Token数量相关。开发者今天已经习惯按“每百万输入Token、每百万输出Token”比较API价格。但当Token进入数据要素和公共算力政策语境,它就不再只是账单上的技术单位,而可能成为连接数据、模型、算力、服务质量与交易结算的中间计量层。
为什么不是继续按GPU卡时计费
卡时适合描述资源占用,却不直接描述用户得到了什么。一小时H100和一小时国产加速卡的吞吐不同;同一张卡运行不同模型、精度和批处理策略,产出的Token数量也不同;即使Token数量相同,长上下文推理、工具调用、检索增强和多轮智能体任务的成本仍可能相差数倍。企业真正关心的往往不是占用多少卡,而是完成一万份合同审查、生成十万条质检结论或服务一百万次客服会话需要多少钱。
因此,Token的价值在于提供一种跨底层硬件的“应用层产量单位”。它与云计算中的vCPU小时、通信中的流量、制造业中的标准工时类似:不是对全部价值的完美刻画,却能把复杂生产过程压缩为可计量、可报价、可审计的接口。公共算力平台采用Token结算,也更容易让中小企业按需采购,避免先理解GPU型号、显存、并行策略和集群拓扑。
但Token不能简单等同于数据价值,也不能完全替代卡时。一个垃圾Token和一个携带关键工业知识的Token显然价值不同;同样数量的输入Token,在小模型与推理模型上的能耗也不同。更合理的判断是:Token将成为新型计量“主键”,其周围还要挂接模型等级、数据许可、时延、能耗、准确率和任务结果等属性。
一套可落地的词元化服务架构
词元化平台至少需要六层。
第一层是资源层,包括GPU、NPU、CPU、存储、网络和电力。这里仍然保留卡时、显存时、千瓦时等基础计量,因为运营方必须核算真实成本,并识别异构设备利用率。
第二层是模型运行层,包括推理引擎、模型注册表、量化版本、上下文窗口、KV Cache、批处理和路由策略。平台应记录“哪个版本的哪个模型,在什么硬件和配置上处理了请求”,否则Token账单无法复核。
第三层是数据与知识层。企业数据进入平台后,需要经过分类分级、脱敏、授权校验、向量化和知识库构建。每份数据资产应携带来源、权属、许可范围、保留期限和可否用于训练等元数据。数据要素价值不能仅按字数计算,而应通过可追溯的数据产品参与具体任务,并在调用链中留下凭证。
第四层是计量层。网关统一采集输入Token、输出Token、缓存命中Token、推理Token、向量检索量、工具调用次数、图像或音频折算量。计量事件应包含租户、请求ID、模型版本、时间戳和签名,写入不可篡改或可审计的账本。对流式输出、请求重试、失败调用和平台内部提示词,也要规定是否计费。
账单审计不能只依赖月末汇总表。平台宜保留“原始计量事件—请求级明细—项目级汇总—结算单”四级凭证,并让各级数字能够相互勾稽。客户抽查时,应能从某一笔费用追溯到请求入口、实际路由模型、分词器版本、缓存状态、响应终止原因和折扣规则;平台则可通过签名摘要证明明细未被事后改写。对于因限流、超时或服务端错误而失败的请求,还应分别记录已消耗资源与可收费金额,避免把技术损耗不加区分地转嫁给用户。审计接口可只开放元数据和哈希凭证,不必暴露提示词正文。
第五层是服务质量层。平台不能只承诺“给了多少Token”,还要给出首Token时延、每秒Token数、可用性、错误率、上下文上限、安全过滤和数据驻留区域。对制造、医疗、金融等场景,还应增加任务准确率、人工复核率与责任边界。
第六层是结算与治理层。平台将资源成本、模型许可费、数据产品费、调度服务费和安全合规费拆分,再形成面向用户的套餐或按量价格。监管和客户可以沿请求ID追溯账单,数据提供方也可按照约定获得收益分配。
这套架构的关键不是发一种“币”,而是建立可信计量。Token经济在此处应被理解为基于词元的产业计量和服务结算机制,而非金融化代币。
Token怎样与数据要素发生关系
数据要素的难题一直不是“有没有数据”,而是数据进入生产过程后如何证明贡献。若一套工业知识库被十家企业调用,传统做法只能按数据包授权收费,无法精确观察哪些文档、规则或样本真正支持了模型回答。
词元化系统可以提供较细的贡献链:请求使用了哪一版知识库,检索返回了哪些数据片段,哪些片段进入上下文,模型生成多少Token,最终结果是否被采纳。通过这种“数据引用—模型处理—业务结果”链条,数据产品可以按订阅、调用、有效引用或结果分成收费。
工程上还需要给数据片段分配稳定标识,并把切分规则、嵌入模型、索引版本和授权状态一并固化。一次回答若引用多个来源,系统可以记录候选召回、重排入选、实际拼接和答案引用四个阶段,而不是只记录最后展示的链接。随后用用户采纳、人工复核、任务通过率等信号形成贡献区间。这里更适合给出可解释的权重和置信度,而不是声称算出了绝对精确的“每个Token价值”;数据被撤回或许可到期后,相关索引、缓存和收益计算也应同步失效。
不过,不能把进入上下文的Token数量直接当作贡献度。长文档可能包含大量无关内容,一条短规则却可能决定答案。平台应结合检索排名、引用命中、消融测试、人工反馈和任务收益评估数据贡献。对训练数据,更要使用数据谱系、实验对照和模型卡,而不是虚构逐Token的精确归因。
必须提前解决的数据工程约束
首先是分词器不统一。同一句中文在不同模型、不同词表下会产生不同Token数。如果平台按Token结算却允许模型自由切换,用户难以横向比较。可行做法是同时公布“原生Token”和标准化工作量,例如选定参考分词器,或提供每千汉字、每任务的折算指标。
其次是输入和输出成本不对称。大模型生成阶段通常比批量处理输入更昂贵,推理模型还可能产生不可见的内部计算。价格表需要区分输入、缓存输入、输出及推理开销,不能只报一个总价。
缓存与长上下文尤其容易制造单价错觉。缓存命中可以显著降低重复前缀的计算成本,但命中通常受模型版本、前缀完全一致、缓存有效期和租户隔离策略影响。采购方不能把宣传页上的最低缓存价直接套用到全部输入,而应查看真实命中率、缓存写入是否收费以及模型升级后是否失效。长上下文也不是把短请求线性放大:上下文越长,首Token等待、显存占用和并发能力通常越受影响,检索噪声还可能增加返工。因而容量评估至少要同时观察平均输入长度、长度分位数、并发量和每个合格任务的总成本。
第三是质量不可被数量替代。平台应建立基准任务集,持续测量事实性、鲁棒性、幻觉率和行业规则遵循度。否则供应商可以用更冗长的输出制造更多计费Token,形成“越啰嗦越赚钱”的逆向激励。企业合同中最好设置输出上限、结构化响应和按任务验收条款。
第四是隐私与跨域流通。提示词、检索片段和输出可能包含商业秘密。计量日志要做到“可核账但不泄密”:敏感正文与计量元数据分离,日志最小化保存,使用哈希或可信时间戳证明完整性,并明确跨境、跨区域处理规则。
第五是重复计费与重试。网关、模型服务和应用层可能各自统计Token;网络失败后的自动重试也可能让客户为同一任务多次付款。平台需要唯一请求标识、幂等机制及争议处理接口。
第六是能耗约束。日报同时提到绿色生产力,这提醒我们:未来Token不仅要标价格,还可能标碳强度。单位千Token能耗、可再生能源比例、峰谷时段调度,都有望成为算力服务选择条件。但相关数据必须基于可核验的设备功率和调度记录,不能用平均值包装“绿色Token”。
产业判断:Token会成为“统一接口”,但不会成为唯一尺度
未来两三年,词元化最可能率先落地在政务公共算力、区域智算平台、模型API聚合平台和大型企业内部AI中台。它们拥有多模型、多芯片、多租户环境,迫切需要一套统一用量语言。Token可以帮助财政资金看清补贴去了哪里,也帮助企业把AI费用分摊到部门、项目和产品。
第二个变化是算力竞争从硬件规模转向“有效Token产能”。单纯公布多少P算力,不足以说明真实供给。平台还要回答:在指定模型和服务等级下,每天能稳定产出多少Token,成本多少,排队多长,单位能耗多少。模型压缩、推理引擎和调度软件因此会直接影响资产收益率。
第三个变化是数据产品可能嵌入Token账单。一项调用费用里,既有算力费,也有模型费、行业知识库费和安全服务费。这比把数据孤立挂牌交易更接近实际生产过程。不过,若缺少数据授权标准和审计能力,所谓“数据分成”很容易停留在概念层。
第四个变化是按结果付费会继续向前推进。Token只是从资源计费到结果计费的过渡层。客服、代码生成和文档抽取最终更可能按“解决一次问题”“通过一个测试”“抽取一份合格表单”计价,Token则留在后台作为成本核算和容量规划指标。
企业现在可以做什么
第一,建立内部AI用量账本。不要只看云厂商总账单,应按业务部门、模型、应用、输入输出Token、缓存命中率和任务成功率拆分。连续记录八到十二周,就能发现哪些应用是在创造价值,哪些只是产生调用量。
第二,设计供应商可比价表。采购时同时要求百万Token价格、参考任务成本、首Token时延、吞吐、上下文长度、数据保留政策、可用性和退出迁移方案。不能用一个低单价掩盖差模型带来的重复调用和人工返工。
第三,把高质量数据集工程与计量工程同步建设。每个知识库要有数据负责人、版本号、许可范围、质量指标和访问日志;应用侧记录引用与反馈。只有形成数据谱系,未来才可能进行可信的数据收益分配。
第四,先在边界清晰的场景试点,例如合同字段抽取、设备手册问答、代码测试生成和客服摘要。以“每个合格任务的Token成本”为指标,而不是追求Token总量增长。
第五,在合同中写清计量口径。包括分词器、缓存、系统提示词、重试、失败请求、模型升级、日志保存和争议复核。若平台宣称绿色算力,还应要求披露能耗计算边界和第三方核验方式。
跨模型比价时,可以设置一组固定业务样本,要求候选模型在相同输入、输出格式、质量门槛和并发条件下运行,再比较完成任务所需的原生Token、延迟、重试次数与人工复核成本。由于不同分词器会改变分母,合同中的“百万Token价格”只能用于同口径比较;跨模型决策应优先使用每百份合格结果成本,并附上每千汉字或每个标准任务的辅助指标。
采购条款还应约定价格调整通知期、模型版本冻结或回退能力、用量导出格式、最低可审计粒度、账单异议窗口及服务终止后的数据删除证明。供应商若自动路由到其他模型,应披露路由范围和计价变化;若系统提示词由平台注入,则需明确这部分是否计费。对于承诺量折扣,可设置超额单价与未用额度处理方式,避免低价包量最终变成沉没成本。
Token成为新计量单元的真正意义,不是给AI产业创造一个流行名词,而是把此前难以比较的异构算力、模型调用和数据服务放到同一条可核算链路上。它若能同时满足准确计量、数据合规、质量约束和成本透明,就可能成为数据要素进入生产过程的一座桥;若只统计字符数量、缺乏结果验证,则不过是换了一种账单格式。
参考资料
- 国家数据局:《国家数字经济创新发展试验区建设现场会在苏州召开》
https://www.nda.gov.cn/sjj/jgsz/jld/llh/llhldhd/0923/20260923160637953441432_pc.html - 成都日报:《成都首个“Token工厂”亮相!》
https://news.chengdu.cn/2026/0923/6ab372f144deea573f27b9f2.shtml - 每日经济新闻:《成都首个Token工厂亮相 打造西部算力调度与Token经济枢纽》
https://www.nbd.com.cn/articles/2026-09-23/4589864.html - OpenAI API Pricing(Token计费示例与缓存输入价格)
https://openai.com/api/pricing/ - Hugging Face:Tokenizers文档
https://huggingface.co/docs/tokenizers/ - vLLM:PagedAttention与高吞吐推理技术资料
https://docs.vllm.ai/ - NVIDIA Triton Inference Server:模型服务与计量相关技术文档
https://docs.nvidia.com/deeplearning/triton-inference-server/ - FinOps Foundation:FinOps Framework(云资源成本分摊与治理)
https://www.finops.org/framework/ - W3C PROV-O:数据来源与处理谱系标准
https://www.w3.org/TR/prov-o/