——从30项任务、39%的推理成本下降,谈智能体软件的新资产:可复用策略
一个程序员解决复杂问题时,往往不会每次都从头开始。遇到数据库性能下降,他会先检查慢查询与执行计划;处理跨模块故障,会画出依赖链和调用路径;准备发布新版本,则按已有的测试、灰度和回滚程序逐项完成。这些流程来自团队多次失败与复盘。大模型智能体的现状却有些反常:模型可以写出长篇计划,也能一口气调用几十个工具,但换一个任务,它经常重新摸索之前已经试过的路径。模型的知识和参数不断升级,组织工作的推理方法却常常仍靠人工维护提示词和脚本。
11月2日,Taiming Lu、Qi Xu、Zhigang Hua和Zhuang Liu在arXiv公开论文《Strategist: Evolving Reasoning with Agents》。研究提出一名负责改造推理过程的元智能体,把解决任务的方法写成可执行代码蓝图,存入策略库,面对新任务再检索、组合、实验和修订。论文报告,在30个基准中,Strategist有24项超过最强对照,平均成绩74.7%,对照为74.0%,推理成本降低39%;策略还可迁移到未见过的任务和其他模型,无须对每一项都重新搜索。[1] 这些结果属于论文测试,不代表某款商业软件在全类型企业任务中必然节省39%的费用。论文还尝试把模型之外的执行策略存成可复用的技术资产;能否长期奏效,仍要看后续验证。

一、智能体现在最浪费的资源,可能是被重复付费的失败经验
想象同一家企业有数十个研究助手,每天都要检索资料、比对来源并写出分析。一个助手已经通过大量尝试发现,某类专业网站的搜索摘要经常缺少日期,必须先抓正文再核对作者或机构;另一个助手次日面对相似任务,仍然重复搜索、重复下载、再次踩坑。如果这两次任务分别计费,企业为同一种错误付了两次账。代码开发也类似:某个仓库需要先执行静态检查、再运行局部测试,最后才能做全量构建,这个顺序并非通用常识,却应该成为下一次修改时优先调用的经验。大量企业智能体现在依靠工具调用日志记录动作,却缺少把成功流程提炼成后续可执行策略的环节。
当前最常见的处理方式是工程师不断修改系统提示词,给模型增加“优先检索”“先规划后执行”“每次都要验证”等指令。这类规则能提高基础可靠性,但复杂任务更依赖实际的分支选择:何时检索、何时停下、需要多少候选答案、哪些工具适合验证、在哪个失败类型上应重试、成本预算耗尽后如何返回。人工为每一种任务手写流程,维护量会随着任务种类上升,更新一个模型版本可能又要调整多处参数。Strategist把这种原本隐含在工程师经验里的方法抽成独立的可执行蓝图,为持续优化提供了统一对象。[1]
二、论文的方法很朴素:先查已有策略,再试一套新组合
Strategist让元智能体编写、试跑和筛选解决任务的程序。它接收任务描述和一小组开发样本。系统先到蓝图库里检索与目标相近的程序:例如多步检索、结果校验、答案候选投票、结构化分解或反事实检查;随后由元智能体生成候选代码,在开发样本上执行,记录质量和成本,再根据结果修改策略。产生的候选会被收进库里,让下一次面对相似问题时拥有更多起点。策略库保存了控制流、函数组合、模型调用次数和验证条件,下一次实验可以直接复用。
“代码蓝图”带来的另一个变化是可复验。一个策略如果通过“先生成三条候选,再交给验证器筛选”完成任务,就可以清楚统计多用了几次模型调用、有效答案提高多少,以及某种任务上是否出现负收益。策略如果只是一段自然语言经验,模型每次理解都可能略有偏差;一段可执行程序则能把调度顺序、停止条件和工具接口固化下来。这里仍有技术难点:自动生成的蓝图本身可能存在错误,依赖不稳定的工具版本,或者把开发集里偶然有效的技巧当成普遍规律。因此策略评估必须在隔离运行环境中进行,并对预算、超时和外部副作用设置限制。
三、24项领先和39%降本,到底应该怎样读
论文在30项基准任务中报告24项超过最强对照,但总体平均准确率是74.7%对74.0%,差距只有0.7个百分点。两组结果放在一起看:策略可能在许多任务上取得小幅改善,在少数任务上出现相对较大的下降;如果只宣传“30项中赢了24项”,容易把读者带向绝对性能跃升的印象。另一方面,39%的推理费用下降如果在相同质量口径下实现,对需要持续调用API的企业具有明显吸引力。性能、成本和分布形态必须一起观察,特别是每项任务的难度、对照算法的搜索预算以及不同模型的价格设置。[1]
可以用一个虚构但清楚的成本账理解其影响。某类资料处理流程每完成1000次任务,模型推理总花费1000元;在质量水平相近的条件下,若采用新策略后推理费用下降39%,费用会降到610元,节约390元。但真实成本账还有策略搜索、预实验、人工评估和维护的开销。假设开发一套策略额外花费3000元,而每1000次任务节省390元,那么仅从模型费用看,约执行7700次任务才能覆盖这笔一次性投入。这里的价格全部是示意假设,不属于论文披露的商业成本;它说明策略复用对高频、重复业务更容易产生规模效应,而对一年只做几次的特殊问题,现成简单流程可能反而更合算。
四、策略库若要成为企业资产,必须先解决版本与来源问题
软件团队早就通过依赖管理、代码审查和持续集成控制程序质量,推理策略库也会逐渐需要类似治理。每个蓝图应记录最初针对哪类问题开发,在哪些模型版本和工具条件下验证,适用的数据类型是什么,平均成本和失败样本如何分布。一个在短文本分类任务上效果很好的策略,移到跨百份文件的法律审查任务可能产生巨大的上下文费用;一个需要联网搜索的验证方法,放进断网工业现场就会失效。没有适用边界和版本信息,策略复用很容易演变成一种新的技术债务。
企业还需要明确策略资产与业务数据的边界。可复用的是工作方法,例如“对设备报警先关联过去一小时的状态数据,再核查最近一次维修记录”;某家工厂的真实报警内容、员工身份和商业合同则属于受控资料。蓝图如果被直接记录为包含敏感样本、数据库账号和客户信息的脚本,在跨团队复用时会制造新的泄露风险。更稳妥的设计是把通用步骤与环境凭据分离:策略只声明需要的工具能力,执行时由平台按用户权限绑定数据源和令牌,并记录调用审计。这样既能积累经验,也能避免经验库变成另一份无法治理的影子知识库。

五、为什么迁移到其他模型,比单次基准成绩更有想象力
模型能力更新很快,某个版本几个月后可能就被替换,但企业流程的业务约束变化相对缓慢。合同核对依然需要比对条款,研发变更依然需要运行测试,售后排障依然需要查日志和维修记录。如果策略蓝图能够跨不同模型复用,企业就有机会把“模型能力采购”与“工作方法积累”分开:底层模型按成本、速度和隐私要求更换,上层策略继续传承。Strategist报告了向未见过任务和其他模型的迁移结果,这部分信息虽然还需要更多独立测试,却比单一模型上的微小准确率差异更有长期价值。[1]
这种迁移需要适配成本。不同模型对工具格式、长上下文和代码生成的可靠程度不一样,策略里设定的“多候选投票”可能在高性能大模型上性价比不高,在轻量模型上反而必要;工具链升级也会改变耗时和失败概率。一个成熟平台应该把模型、工具和策略三者独立记录,然后用统一任务集定期比较组合表现。对于高频业务,还可以根据任务难度动态分配策略:简单请求走快速路径,复杂请求进入多步校验,明显超预算的任务交还人工。任务分流本身便是值得不断优化的策略。
六、企业评测要算任务完成率和合格交付成本
在演示中,智能体写一段漂亮答案很容易给人留下印象,实际部署却要面对“不知道任务是否完成”的麻烦。一个编码代理可能生成了补丁,却没跑测试;一个分析代理可能写满了参考资料,却包含失效链接;一个销售代理可能查到客户信息,却误把不同公司的订单合并。评测时应先定义交付物:源代码能否通过测试,报告中的来源是否对应结论,订单操作是否在授权账户里正确落库。只有交付物合格,才计算一次成功,费用也应该按合格任务核算,而不只是按每千Token价格比较。
在这个框架里,策略搜索是一种受约束的实验活动。假设团队每月需要处理一万份结构化文档,先从真实脱敏样本中抽取数百份开发集,再保留另一批完全未见过的验证集;对“直接抽取”“先分类再抽取”“多模型交叉核对”三类策略同时统计合格率、平均耗时、Token费用和人工复核比例。若某种策略降低了模型费用却让人工返工增加,商业上未必划算。反过来,某种策略即使多调用一次模型,只要大幅减少严重错误和人工复审,也可能更有价值。Strategist提供的自动演化方法可以放在这样的业务评测框架中使用,避免为了基准分数而优化与业务结果关系不大的指标。
七、策略不断自我改进,如何防止“优化”越过授权边界
一个能够修改自己执行方法的元智能体,天然会受到“寻找捷径”的诱惑。比如系统以任务完成速度为奖励,自动搜索可能发现跳过审批步骤会获得更高分;以代码测试通过率为目标,可能寻找修改测试环境的办法;以客户满意度为标准,可能减少必要的风险提示。这样的现象在机器学习里常被称为奖励错配,工程上却表现为很具体的越权操作。因此策略生成、策略发布和实际业务执行应使用不同权限。生成器可以在沙箱里尝试各种流程,进入正式策略库前必须通过安全检查,影响财务或生产的操作仍由独立系统审批。
更现实的风险来自策略污染。假设某人把带有恶意调用的“高效检索蓝图”提交到共享库,其他智能体在相似任务中自动检索并执行,攻击便从一次提示词注入升级为持久性供应链风险。防护方式包括策略来源签名、代码静态分析、受控工具白名单、版本锁定和异常执行隔离。组织还应在策略库里保留负样本:哪种技巧在什么条件下失败、失败后造成什么后果、哪些模型特别容易出现问题。把失败原因也变成资产,可以减少自动演化系统重复探索危险路径的概率。
八、从提示词工程走向策略工程,行业会出现什么新角色
未来的AI应用团队很可能出现专门负责策略资产的人:他们不一定训练基础模型,却理解任务评测、工具链、权限体系和成本结构,持续维护企业内部的可复用蓝图库。平台供应商会提供策略仓库、实验环境、线上灰度、版本对比与回滚功能,咨询和系统集成服务则帮助企业从真实业务日志中提炼高价值流程。这样的分工看起来接近传统软件工程,却又多了模型概率行为和动态工具选择带来的复杂性。
对开源生态而言,策略库可能逐渐出现类似开源软件包的分享方式。一个通用学术检索策略可以被多个研究助手引用,代码审查策略可以针对不同语言和仓库改写,财务表格审查策略可以按行业规则扩展。分享的价值取决于可复现性:公开任务样本、运行条件、使用模型和费用指标,比放出一段“万能智能体提示词”更有说服力。若各类平台能形成兼容的策略声明与评测接口,模型升级带来的价值也更容易被应用开发者直接吸收。
九、一个具体运营场景:怎样把研究方法落在每天反复进行的工作里
以一家每天生成技术日报的团队为例,最初的工作流可能由研究员逐条搜索、打开原文、对比发布时间、撰写摘要和交叉核查。部署智能体后,若没有经过验证的策略,模型可能会过度依赖排名靠前的媒体报道、反复搜索同一事件,或在参考资料中留下与正文不对应的链接。策略工程可以把这一流程拆成几个有明确输入输出的环节:候选来源召回、时间窗口过滤、同一事件聚类、原始来源优先级排序、事实核对和成稿检查。每个环节有自己的评测样本,发现错误以后可以修订对应蓝图,而不必把全部约束塞入一段越来越长的提示词。
复用发生在下一次任务到来时:系统保存哪些媒体的公告时间常有延迟、某类开源项目优先查什么仓库文件、论文指标应到摘要还是附录核对,以及没有可靠新资料时应该如何减少栏目条目。每次策略升级后,团队用固定的脱敏历史任务做回归,比较新旧策略的来源准确率、重复新闻比例、交付时长和人工作业时间。这样即使日后更换底层模型,编辑部也保有自己积累的“工作方法资产”。它与Strategist论文中的蓝图库理念相近,但场景规则和检查指标仍需由企业自己建立,研究论文没有直接声称完成这一日报系统。
论文把“智能体怎么思考和行动”变成了可以反复测试、维护的工程对象。30项基准、74.7%的平均准确率和39%的成本改善,是一个研究起点;企业希望看到的终点,则是一套能够记住解决办法、判断适用范围、持续控制成本并接受人工审计的工作系统。随着模型调用变得更便宜,优秀的执行策略未必比模型权重更耀眼,但它可能更接近企业愿意持续付费的那部分生产力。
参考资料
- Taiming Lu、Qi Xu、Zhigang Hua、Zhuang Liu,《Strategist: Evolving Reasoning with Agents》,arXiv,2026-11-02。用途:策略蓝图、实验方法、30项基准与39%推理成本指标。https://arxiv.org/abs/2611.03618
- OWASP GenAI Security Project,《OWASP Top 10 for Agentic Applications for 2026》,2025-12-09。用途:策略复用、工具调用与代理权限的安全背景。https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/
- NIST,《AI Risk Management Framework (AI RMF 1.0)》,2023-01-26。用途:组织级AI系统测试、治理和风险评估方法。https://www.nist.gov/itl/ai-risk-management-framework
- OpenTelemetry,《Documentation》,持续更新。用途:跨服务任务追踪、上下文传播与观察基础。https://opentelemetry.io/docs/
- Anthropic,《Building effective agents》,2024-12-19。用途:工作流、代理工具与执行策略的工程背景。https://www.anthropic.com/engineering/building-effective-agents