企业采购大模型时，最容易犯的错误，是把模型榜单当成产品验收单。
排行榜当然有价值。它能快速展示模型在数学、代码、知识问答或长上下文等方面的大致位置，也能帮助技术团队了解行业进展。但榜单回答的是“这个模型在一套统一题目上表现怎样”，企业真正需要回答的却是“它能否在我的流程、数据、权限和成本约束下稳定完成工作”。两者看似接近，实际相隔很远。
2026年9月，AI评测公司Vals受到关注，一个重要原因正是它把法律、金融、编程等真实工作任务放到评测中心，并尽量避免公开具体测试材料。这个方向不意味着公开Benchmark失效，而是说明企业AI已经走过“先看看模型会不会答题”的阶段，进入“为生产结果负责”的阶段。
一、公开榜单为什么越来越难支撑采购决策
1. 榜单测能力上限，生产系统关心稳定下限
公开评测通常给出平均分、通过率或相对排名。采购方看到某模型领先两三个百分点，很容易把这种差异理解为生产能力的确定优势。但企业流程往往被最差情况而非平均情况决定。
一套合同审查系统，即使95%的条款判断正确，只要在责任上限、自动续约或数据出境条款上反复漏判，就不能直接进入高风险流程。客服模型即使大部分回答自然，只要偶尔承诺不存在的赔偿政策，也可能带来投诉和合规成本。生产系统真正关心的是关键错误是否出现、错误是否集中在某类任务、能否被规则或人工复核及时截住。
因此，企业评测不能只算总分，还要把任务分层。普通信息抽取出错与资金审批建议出错，不能按同样权重处理；可被人工发现的格式错误与看似合理但事实错误的结论，也不能视为同一种失败。
2. 公开题库存在污染与定向优化空间
只要题目长期公开，就可能进入训练数据、微调语料或厂商内部优化流程。即使厂商没有直接“背答案”，围绕主流评测格式做提示工程和强化训练，也会让模型更适应测试环境。
这并不代表榜单造假，而是任何成熟评测都会面对的规律：指标一旦成为目标，就会逐渐失去一部分测量能力。企业如果继续照搬公开题库，得到的往往是模型对标准题型的熟悉程度，而不是对本公司业务的理解程度。
更现实的问题是，企业任务中包含大量公开数据里没有的规则。内部产品编码、审批权限、客户分级、历史合同模板、设备告警逻辑和区域监管要求，都不可能由通用榜单覆盖。模型在公开法律考试中得分很高，不等于它理解公司的合同红线；代码能力领先，也不等于它能在私有仓库里遵守现有架构和发布规范。
3. 同一个模型，接入方式不同，结果可能完全不同
企业购买的通常不是裸模型，而是一套包含检索、工具调用、提示模板、权限控制、缓存、模型路由和人工复核的系统。模型只是其中一层。
同一模型接入不同知识库，答案准确率会变化；使用不同切片策略，召回结果会变化；工具调用权限不同，任务完成率和风险也会变化。甚至温度、上下文长度、超时设置和重试策略，都可能改变最终表现。
如果评测只在厂商演示环境中进行，采购方测到的是厂商最擅长展示的路径，而不是本企业将要运行的系统。真正公平的对比，应尽量统一数据、提示、工具、预算和超时条件，并把系统级指标与模型级指标分开记录。
4. 排名没有体现失败的经济后果
采购决策最终要落到成本。这里的成本不只是每百万Token价格，还包括人工复核、错误返工、接口维护、延迟等待、合规审计和停机风险。
一个便宜模型如果需要大量人工兜底，单位任务成本可能更高；一个昂贵模型如果能显著减少高价值流程中的返工，反而可能更经济。榜单很少替企业计算这些账，因为不同组织的错误成本完全不同。
企业需要的不是抽象的“最强模型”，而是在特定风险和服务水平下，完成一个合格任务所需的总成本。
二、任务级评测应从业务流程开始，而不是从模型开始
任务级评测的第一步不是选择题库，而是画出工作流程。一个看似简单的“自动审核合同”需求，至少可以拆成文件解析、条款定位、实体抽取、规则比对、风险解释、修改建议和结果归档。每一步都对应不同能力，也有不同的可接受错误范围。
拆解时可以使用四个问题：
- 输入是什么，是否包含扫描件、表格、附件或历史记录？
- 输出必须是什么类型，是自由文本、固定字段、分类标签还是可执行动作？
- 哪些错误可以重试，哪些错误必须立即转人工？
- 结果将影响什么，是辅助阅读、客户沟通，还是资金与权限操作？
完成拆解后，再为每类任务建立样本。样本不应只选“干净数据”，还要覆盖缺字段、歧义表达、过期制度、冲突资料、超长文档和恶意输入。生产环境中的失败，往往发生在这些边界条件，而不是标准案例中。
三、一套可执行的企业评测框架
1. 建立小而真实的私有测试集
企业不必一开始就建设数万条题库。更有效的做法是先从100至300个高代表性任务开始，由业务专家确认输入、理想输出、判断规则和风险等级。测试集要保留真实分布，同时适度增加高风险与长尾样本。
题目应版本化管理，限制不必要的传播，避免供应商提前针对具体答案调参。对于重要采购，可以设置一部分隐藏样本，在最终阶段才投入测试。
2. 同时使用确定性指标与专家判断
字段抽取、分类和格式校验可以使用精确率、召回率、F1、结构合法率等指标。总结、分析和建议类任务很难只靠字符串匹配，需要业务专家按事实正确性、覆盖度、可执行性和风险程度评分。
专家评分必须有明确量表。例如“事实正确”不能只写优秀、良好、一般，而应规定：是否引用了不存在的制度，是否遗漏强制条款，是否把不确定信息写成确定结论。评分规则越具体，不同评审者之间越容易达成一致。
使用另一个大模型充当裁判可以提高效率，但不能成为唯一裁判。模型裁判也会受提示、位置顺序和语言风格影响，尤其不适合独立决定高风险任务是否通过。
3. 引入风险加权，而不是只看平均分
可以为任务设置风险权重，把关键错误单独统计。例如普通格式问题权重为1，事实性错误为3，违反监管要求或触发错误操作为10。最终结果同时展示平均任务成功率、高风险任务通过率和加权错误成本。
这样做会改变选型结论。某模型可能总分略低，却在关键任务上更稳定；另一个模型平均表现漂亮，但高风险错误集中。对于企业采购，前者通常更值得进入下一轮验证。
4. 做盲测、交叉复核与重复运行
评审者最好不知道输出来自哪个模型，避免品牌印象影响判断。主观任务应由两名以上评审者独立评分，对分歧样本再讨论。
生成式模型存在随机性，同一输入运行一次并不能说明稳定性。关键样本需要重复测试，观察答案波动、工具调用成功率和超时情况。对Agent任务，还应记录每一步调用轨迹，而不是只看最后一句回答。
5. 把质量、延迟和成本放在同一张表里
评测报告至少应包含任务成功率、关键错误率、P50与P95延迟、输入输出Token、工具调用次数、重试率、人工接管率和单位合格任务成本。只有这些指标放在一起，采购方才能判断模型是否真的适合生产。
“单位合格任务成本”比“单位Token价格”更有决策价值。它把失败重试和人工复核纳入计算，能避免低价模型在总体成本上制造假象。
四、采购流程也要从一次招标变成持续回归
模型更新速度很快，供应商可能调整版本、价格、限流策略和安全规则。企业内部知识库、流程与监管要求也会变化。因此，评测不能只在签合同前做一次。
更稳妥的方式是建立模型注册表和评测流水线。每次更换模型版本、提示模板、检索方案或工具权限，都自动运行核心测试集；高风险变更需要人工复核。线上再通过抽样审计、用户纠错和异常告警，把新失败案例回流到测试集。
这套机制还应支持多模型策略。企业不必把所有任务押在一个供应商上。高复杂度推理可以使用强模型，固定分类和抽取可以交给小模型，敏感任务可部署在本地，流量高峰则使用备用模型。任务级数据越清楚，模型路由越容易从经验判断变成可计算的工程决策。
五、采购文件应该怎样改写
传统采购文件常写“模型达到某榜单前几名”“支持多少参数”“上下文达到多少万Token”。这些条件便于比较，却不直接对应业务结果。
更有效的要求是：在指定私有任务集上达到多少成功率；高风险错误不得超过多少；P95延迟与峰值并发达到什么水平；输出必须满足何种结构；数据是否用于训练；版本更新如何通知；性能回退如何处理；日志能否支持审计；供应商是否接受定期复测。
这会把供应商竞争从展示能力转向交付能力，也能减少“演示很好、上线失灵”的落差。
结语
公开榜单仍然适合做市场扫描和技术观察，但它只能帮助企业缩小候选范围，不能替企业完成采购决策。真正决定AI项目成败的，是模型在具体任务中的成功率、关键错误、系统延迟、人工接管和总成本。
企业AI采购正在从“买一个最强模型”转向“建设一套可验证、可替换、可持续运营的能力”。任务级评测不是采购末尾的验收环节，而应成为需求定义、架构设计、供应商管理和上线运营共同使用的基础设施。谁先把自己的业务任务定义清楚，谁才真正拥有模型选择权。
参考资料
- TechCrunch：《Vals, backed by Andreessen Horowitz, is looking to become the gold standard for AI benchmarking》，2026-09-19。
- 本站《AI技术每日分析：模型评测与推理栈分层加速演进》，2026-09-20。