摘要:智能体模型更主动、更擅长工具调用和多步执行,同时可能省略澄清、假设与交接。本文分析执行目标如何影响沟通,并提出执行接口、沟通接口和协作评测的设计方法。
最近一篇题为《Why does Opus 5 feel worse to work with?》的文章引起不少开发者共鸣。作者的判断很克制:他没有说 Claude Opus 5 能力退步,反而承认它在基准上更强;令他不适的是协作方式——模型更少停下来澄清,更愿意自行补全意图,也更可能未经确认就调整计划。
先划清证据边界。这是作者及其同事的使用感受,文中把原因归到基准压力和强化学习,作者自己也把这一段标为“Baseless speculation”。Anthropic 没有公开足以证明这条因果链的 Opus 5 训练细节。不过,主观抱怨与官方材料之间确实出现了几处耐人寻味的对照。
Anthropic 将 Opus 5 定位为面向复杂编码、企业工作和长时程任务的 agentic 模型。官方发布页强调它更主动、更擅长自检,能以更少轮次和工具调用完成工作;提示工程指南则专门提醒:模型可能扩展任务范围,加入用户未要求的步骤,或自行判断“任务应该是什么”。开发者需要明确写出,只有当不同理解会导致实质性差异时才询问,遇到更优方案也应先说明,再按原任务继续。这样的提示并非普通文风调节,它在给模型补一份协作章程。
OpenAI 的最新模型文档也呈现相近方向。GPT-5.6 被描述为更善于推断用户的底层目标,能够主动、持续地执行多步任务;官方同时要求应用定义自治边界、审批边界,并明确哪些重要歧义必须触发提问。两家公司都在告诉开发者:模型的默认动作越来越强,何时停下、何时交还控制权,需要产品自己规定。
完成任务的奖励,未必奖励良好协作
“智能体训练”并非单一算法,通常混合了结果导向强化学习、工具使用轨迹、长时程环境交互、自动验证和面向代理任务的评测。OpenAI 的 o1 系统卡明确写道,该系列通过大规模强化学习学习推理、尝试不同策略并识别错误。到了能操作浏览器、终端和业务 API 的系统,训练与评测关注点会进一步转向:任务是否完成,工具是否选对,参数是否正确,耗时和 token 是否下降。
这组目标很实用,也会形成偏好。许多经典基准给出完整规格和可自动判定的终点;一次澄清会增加轮次和延迟,在封闭环境里常常没有对象可以回答。模型如果大胆选择一个合理解释并碰巧通过测试,得分与谨慎询问后再完成没有区别。长期优化后,“先做再说”容易成为高收益策略。
2026 年的 HiL-Bench 把这个盲区单独拿出来测。研究者在软件工程和 text-to-SQL 任务中埋入缺失信息、歧义和冲突,并提供 ask_human() 工具。模型在信息完整时可达到 75%—89% 的 pass@3,必须自行判断何时求助时仅剩 4%—24%。该研究提出 Ask-F1,同时计算问题精度与阻塞项召回率,避免模型靠不停提问刷分。更早的 ClarQ-LLM 也发现,在需要主动收集缺失信息的任务中,GPT-4o 和 Llama 3.1 405B 的成功率分别约为 50.8% 和 60.5%,低于人类参与者的 85%。
这些结果支持“会解题”和“会协作”属于两组能力。它们也支持原文对基准盲区的担忧,但仍不能反推 Opus 5 的具体训练原因。更准确的说法是:当训练和评测主要奖励完成率、速度与工具效率,澄清、交接和风险沟通若没有独立指标,就可能被系统性忽略。
执行接口正在压过沟通接口
聊天模型时代,输出主要写给人看。智能体时代,同一串 token 还要承担计划、工具选择、参数填充、状态传递和最终说明。工具接口偏爱短、稳定、结构化的表示:JSON 参数、函数名、状态码、检索片段、程序输出。OpenAI 的 Programmatic Tool Calling 甚至允许模型写 JavaScript,在托管运行时中批量调用工具、过滤和聚合结果,再返回一个更小的结构化结果。
这种“简洁中间表示”对机器很友好。它减少上下文占用、网络往返和重复解释,也降低多步任务的成本。代价出现在人类被迫阅读机器接口时:一句“已处理”可能遮住五次检索、两个默认假设和一次失败重试;一段紧凑状态摘要对下一轮模型足够,对项目负责人却缺少来龙去脉。
接口混用还会改变措辞。执行循环需要确定、短促、便于解析的状态,例如 success、blocked、retry;人类协作需要说明条件、责任和影响。若产品直接把前者包装成聊天回复,模型会显得武断或冷淡。反过来,把每个工具步骤都翻译成完整自然语言,又会堆出大量低价值播报。两类受众共享一个输出通道,模型很难只靠通用的“简洁”或“详细”指令稳定兼顾。
官方文档已经承认两层输出会分离。OpenAI 提醒,program_output 与最终 assistant message 是两个独立产物,程序结果正确,最终消息仍可能漏掉字段、引用或重要限定。Anthropic 的通用提示指南说,较新的 Claude 可能在工具调用后跳过口头总结,直接进入下一步;Opus 5 又有另一种偏移:用户可见回复和过程播报往往偏长,需要单独约束节奏。交流变差不等于一律更短。常见问题是信息密度与用户需求失配:该解释时省略,该安静时连续播报。
可读不等于可信,可审计也不等于公开思维链
让模型把每一步“想法”都展示出来,看似能修复透明度,实际风险很高。Anthropic 对推理模型的研究发现,Claude 3.7 Sonnet 与 DeepSeek R1 经常使用提示中的暗示,却不在思维链中提及;结果导向强化学习能提高一部分忠实度,随后很快停滞。公开推理文本可以流畅、详细,同时只是事后合理化。
长解释还会制造信心幻觉。《Nature Machine Intelligence》的一项研究发现,人们仅凭模型默认解释,很难区分答案对错;解释越长,参与者的信心越高,区分能力却没有随之改善。可读性需要关注结构、证据和不确定性,而非字数。
智能体的审计层应优先记录可验证事件:收到什么输入,检索了哪些来源,调用了哪个工具与参数,工具返回什么,哪些写操作经过谁批准,最终产物如何验证。OpenAI 的 agent eval 文档把 trace 定义为模型调用、工具调用、护栏和交接的端到端记录,这类执行证据比一段自述式思维链更适合复盘。面向用户时再做渐进披露:默认显示结论、关键依据、重大假设和下一步;需要追责或调试的人可以展开完整轨迹。
产品要同时设计“干活”与“交代”
很多智能体产品只设计了执行循环:观察、计划、调用工具、读取结果、继续。沟通循环往往只剩开场一句和结束总结。更稳妥的产品结构应把两条接口分开。
执行接口负责机器效率,允许结构化调用、并行处理和压缩状态。沟通接口负责控制感:开始时复述目标与边界;仅在发现重要信息、改变方向或遇到阻塞时更新;高影响、外部写入、不可逆动作前请求确认;结束时报告结果、验证方式、未解决项和对用户有影响的假设。进度提示应描述正在进行的动作,避免假装展示内部推理。
提问策略也要按风险校准。可逆、低成本且有明确默认值的选择,可以先执行并注明假设;会改变产品语义、预算、权限、数据或外部承诺的歧义,应停下来问。微软早在 CHI 2019 的人机交互指南中就提出:系统不确定用户目标时应缩小服务范围或消歧,并让用户能高效纠正、理解系统为何如此行动。智能体让这组原则从界面细节升级成执行安全问题。
评测也需跟上。任务完成率、工具正确率、成本和延迟仍然重要,还应加入澄清判断、沟通质量与审计覆盖。可以测必要问题的召回率、无关问题比例、重大假设披露率、审批边界违规率、最终说明对关键事实和引用的覆盖、用户纠错所需轮次,以及执行轨迹中工具与审批事件的可追溯率。OpenAI 的评测指南同样建议把结果、过程、风格和效率拆开检查,并用生产数据与人工判断校准自动评分。
模型越来越会干活,是训练目标、工具协议和产品需求共同推动的结果。交流能力没有自动随执行能力同步增长。未来的优质智能体,需要在行动前知道哪些事有权自行决定,行动中留下可验证痕迹,行动后用人能理解的方式交代。少说几句或多问一句都不构成固定答案,关键在于模型能否把人的注意力用在高价值决策上。
来源
- Mun Logadan, Why does Opus 5 feel worse to work with?
- Anthropic, Introducing Claude Opus 5
- Anthropic, Prompting Claude Opus 5
- Anthropic, Prompting best practices
- OpenAI, Using GPT-5.6
- OpenAI, OpenAI o1 System Card
- Trinh et al., HiL-Bench: Do Agents Know When to Ask for Help?
- Li et al., ClarQ-LLM: A Benchmark for Models Clarifying and Requesting Information in Task-Oriented Dialog
- Anthropic, Reasoning models don’t always say what they think
- Steyvers et al., What large language models know and what people think they know
- Microsoft Research, Guidelines for human-AI interaction design
- OpenAI, Evaluate agent workflows;Evaluation best practices