企业采购大模型时，最容易犯的错误，是把模型榜单当成产品验收单。
排行榜当然有价值。它能快速展示模型在数学、代码、知识问答或长上下文等方面的大致位置，也能帮助技术团队了解行业进展。但榜单回答的是“这个模型在一套统一题目上表现怎样”，采购项目还得回答另一个问题：“它能否在我的流程、数据、权限和成本约束下稳定完成工作？”两者看似接近，实际相隔很远。
2026年9月，AI评测公司Vals受到关注，一个重要原因正是它把法律、金融、编程等真实工作任务放到评测中心，并尽量避免公开具体测试材料。公开Benchmark依然可用于初筛；进入采购短名单后，判断依据要回到生产任务和交付结果。
一、公开榜单为什么越来越难支撑采购决策
1. 榜单测能力上限，生产系统关心稳定下限
公开评测通常给出平均分、通过率或相对排名。采购方看到某模型领先两三个百分点，很容易把这种差异理解为生产能力的确定优势。但企业流程往往被最差情况而非平均情况决定。
一套合同审查系统，即使95%的条款判断正确，只要在责任上限、自动续约或数据出境条款上反复漏判，就不能直接进入高风险流程。客服模型即使大部分回答自然，只要偶尔承诺不存在的赔偿政策，也可能带来投诉和合规成本。生产系统真正关心的是关键错误是否出现、错误是否集中在某类任务、能否被规则或人工复核及时截住。
因此，企业评测不能只算总分，还要把任务分层。普通信息抽取出错与资金审批建议出错，不能按同样权重处理；可被人工发现的格式错误与看似合理但事实错误的结论，也不能视为同一种失败。
2. 公开题库存在污染与定向优化空间
只要题目长期公开，就可能进入训练数据、微调语料或厂商内部优化流程。即使厂商没有直接“背答案”，围绕主流评测格式做提示工程和强化训练，也会让模型更适应测试环境。
这不等于榜单造假。任何成熟评测都会遇到同一个问题：指标一旦成为优化目标，就会逐渐损失一部分测量能力。企业照搬公开题库，测到的往往是模型对标准题型的熟悉程度，对本公司业务的理解仍未得到验证。
更现实的问题是，企业任务中包含大量公开数据里没有的规则。内部产品编码、审批权限、客户分级、历史合同模板、设备告警逻辑和区域监管要求，都不可能由通用榜单覆盖。模型在公开法律考试中得分很高，不等于它理解公司的合同红线；代码能力领先，也不等于它能在私有仓库里遵守现有架构和发布规范。
3. 同一个模型，接入方式不同，结果可能完全不同
企业采购对象通常是一套完整系统，其中包含检索、工具调用、提示模板、权限控制、缓存、模型路由和人工复核，模型只是其中一层。
同一模型接入不同知识库，答案准确率会变化；使用不同切片策略，召回结果会变化；工具调用权限不同，任务完成率和风险也会变化。甚至温度、上下文长度、超时设置和重试策略，都可能改变最终表现。
如果评测只在厂商演示环境中进行，采购方测到的是厂商最擅长展示的路径，与本企业将要运行的系统可能相差很大。横向对比时，应尽量统一数据、提示、工具、预算和超时条件，并把系统级指标与模型级指标分开记录。
4. 排名没有体现失败的经济后果
采购决策最终要落到成本。这里的成本不只是每百万Token价格，还包括人工复核、错误返工、接口维护、延迟等待、合规审计和停机风险。
一个便宜模型如果需要大量人工兜底，单位任务成本可能更高；一个昂贵模型如果能显著减少高价值流程中的返工，反而可能更经济。榜单很少替企业计算这些账，因为不同组织的错误成本完全不同。
采购结论应落到一项可核算的能力：在给定风险和服务水平下，以多少总成本完成一个合格任务。
二、任务级评测先画业务流程
先画出工作流程，再选择题库。一个看似简单的“自动审核合同”需求，至少可以拆成文件解析、条款定位、实体抽取、规则比对、风险解释、修改建议和结果归档。每一步都对应不同能力，也有不同的可接受错误范围。
拆解时可以使用四个问题：
- 输入是什么，是否包含扫描件、表格、附件或历史记录？
- 输出必须是什么类型，是自由文本、固定字段、分类标签还是可执行动作？
- 哪些错误可以重试，哪些错误必须立即转人工？
- 结果将影响什么，是辅助阅读、客户沟通，还是资金与权限操作？
完成拆解后，再为每类任务建立样本。样本不应只选“干净数据”，还要覆盖缺字段、歧义表达、过期制度、冲突资料、超长文档和恶意输入。生产环境中的失败，往往发生在这些边界条件，而不是标准案例中。
每个子任务还要写清通过条件和处置动作。比如字段缺失时允许输出“无法判断”，还是必须请求补充材料；置信度不足时直接转人工，还是可以再次检索；结构校验失败算一次任务失败，还是允许在限定次数内修复。没有这份规则，评审者很容易按个人经验打分，供应商也难以针对同一目标交付。
三、一套可执行的企业评测框架
1. 建立小而真实的私有测试集
企业不必一开始就建设数万条题库。更有效的做法是先从100至300个高代表性任务开始，由业务专家确认输入、理想输出、判断规则和风险等级。测试集要保留真实分布，同时适度增加高风险与长尾样本。
题目应版本化管理，限制不必要的传播，避免供应商提前针对具体答案调参。对于重要采购，可以设置一部分隐藏样本，在最终阶段才投入测试。
2. 同时使用确定性指标与专家判断
字段抽取、分类和格式校验可以使用精确率、召回率、F1、结构合法率等指标。总结、分析和建议类任务很难只靠字符串匹配，需要业务专家按事实正确性、覆盖度、可执行性和风险程度评分。
专家评分必须有明确量表。例如“事实正确”不能只写优秀、良好、一般，而应规定：是否引用了不存在的制度，是否遗漏强制条款，是否把不确定信息写成确定结论。评分规则越具体，不同评审者之间越容易达成一致。
使用另一个大模型充当裁判可以提高效率，但不能成为唯一裁判。模型裁判也会受提示、位置顺序和语言风格影响，尤其不适合独立决定高风险任务是否通过。
3. 给不同失败设置风险权重
可以为任务设置风险权重，把关键错误单独统计。例如普通格式问题权重为1，事实性错误为3，违反监管要求或触发错误操作为10。最终结果同时展示平均任务成功率、高风险任务通过率和加权错误成本。
这样做会改变选型结论。某模型可能总分略低，却在关键任务上更稳定；另一个模型平均表现漂亮，但高风险错误集中。对于企业采购，前者通常更值得进入下一轮验证。
4. 做盲测、交叉复核与重复运行
评审者最好不知道输出来自哪个模型，避免品牌印象影响判断。主观任务应由两名以上评审者独立评分，对分歧样本再讨论。
生成式模型存在随机性，同一输入运行一次并不能说明稳定性。关键样本需要重复测试，观察答案波动、工具调用成功率和超时情况。对Agent任务，还应记录每一步调用轨迹，而不是只看最后一句回答。
5. 把质量、延迟和成本放在同一张表里
评测报告至少应包含任务成功率、关键错误率、P50与P95延迟、输入输出Token、工具调用次数、重试率、人工接管率和单位合格任务成本。只有这些指标放在一起，采购方才能判断模型是否真的适合生产。
“单位合格任务成本”比“单位Token价格”更有决策价值。它把失败重试和人工复核纳入计算，能避免低价模型在总体成本上制造假象。
四、采购流程也要从一次招标变成持续回归
模型更新速度很快，供应商可能调整版本、价格、限流策略和安全规则。企业内部知识库、流程与监管要求也会变化。因此，评测不能只在签合同前做一次。
更稳妥的方式是建立模型注册表和评测流水线。每次更换模型版本、提示模板、检索方案或工具权限，都自动运行核心测试集；高风险变更需要人工复核。线上再通过抽样审计、用户纠错和异常告警，把新失败案例回流到测试集。
这套机制还应支持多模型策略。企业不必把所有任务押在一个供应商上。高复杂度推理可以使用强模型，固定分类和抽取可以交给小模型，敏感任务可部署在本地，流量高峰则使用备用模型。任务级数据越清楚，模型路由越容易从经验判断变成可计算的工程决策。
测试集本身也要有人维护。线上出现的新错误不能原样塞进题库：先去除敏感信息，再判断它是偶发故障、流程变化，还是值得长期回归的代表性样本。否则题库会越积越大，却被大量重复案例拖慢。比较实用的做法是给每条样本标注来源时间、适用制度、风险等级和退出条件；制度废止或业务关闭后，样本转入历史库，不再参与当前采购评分。
评测结果还应保留可追溯记录。采购方需要知道某次分数对应哪个模型版本、哪套提示、哪份知识库和哪些工具权限。半年后发现线上回退时，团队才能重放当时环境，而不是拿最新配置猜原因。对高风险场景，这份记录也比一张最终排名表更便于审计。
五、把评测跑成一轮可审计的采购实验
执行时可以按固定顺序推进。先由业务、技术、风控共同确认任务边界和禁区，再冻结候选方案的模型版本、提示、知识库、工具权限、预算与超时。随后运行公开样本做流程校验，确认评分脚本和日志完整；正式比较使用私有集与隐藏集，主观样本进入盲审。结果出来后先看硬门槛，例如高风险错误、数据处理和审计能力，再比较成功率、延迟与单位合格任务成本。
这一顺序能避免一个常见局面：团队已经花了大量时间比较平均分，最后才发现某个候选无法满足权限隔离或版本通知要求。合规、部署方式、数据去向等条件适合做准入门槛；通过门槛后，质量和成本指标才有比较意义。
采购评审会上也不宜只展示总表。建议附上三类样本：各候选都成功的普通任务，用于说明基线；候选之间分歧最大的任务，用于解释排名差异；所有候选都失败的任务，用于决定流程是否要保留人工环节。最后一类尤其有用，它提醒团队有些问题暂时无法靠换模型解决。
六、采购文件应该怎样改写
传统采购文件常写“模型达到某榜单前几名”“支持多少参数”“上下文达到多少万Token”。这些条件便于比较，却不直接对应业务结果。
更有效的要求是：在指定私有任务集上达到多少成功率；高风险错误不得超过多少；P95延迟与峰值并发达到什么水平；输出必须满足何种结构；数据是否用于训练；版本更新如何通知；性能回退如何处理；日志能否支持审计；供应商是否接受定期复测。
这会把供应商竞争从展示能力转向交付能力，也能减少“演示很好、上线失灵”的落差。
结语
公开榜单适合做市场扫描和技术观察，可以帮助企业缩小候选范围，无法代替采购验证。模型在具体任务中的成功率、关键错误、系统延迟、人工接管和总成本，才是评审会上需要逐项对照的数据。
企业AI采购最终要建设一套可验证、可替换、可持续运营的能力。任务级评测应贯穿需求定义、架构设计、供应商管理和上线运营，不能等到采购末尾才做验收。业务任务定义得越清楚，企业越能按自己的标准选模型，也越容易在供应商或版本变化时重新比较。
参考资料
- TechCrunch：《Vals, backed by Andreessen Horowitz, is looking to become the gold standard for AI benchmarking》，2026-09-19。
- 本站《AI技术每日分析：模型评测与推理栈分层加速演进》，2026-09-20。