大模型为什么开始主动“忘记知识”:真正的竞争转向工具链与可信数据

摘要:当模型把更多能力预算留给推理,而把事实查询交给搜索、RAG、数据库和工具调用,AI 的竞争重心就会从“谁背得更多”转向“谁能接入更新鲜、更可信、更可审计的数据”。但这仍是一种值得重视的趋势判断,而不是已经被行业证实的统一路线。

大模型为什么开始主动忘记知识:真正的竞争转向工具链与可信数据

大模型正在变得更会推理,却不一定更会“背答案”。

2026年8月17日,开发者 Walter van der Giessen 在 w4g1.dev 发表文章《Models Are Getting Dumber on Purpose》。他的核心判断是:模型厂商可能正在把有限的参数容量和训练预算,从长尾事实记忆转向可迁移的推理程序,再用搜索、知识库、文件系统和工具调用补回知识。换句话说,未来的模型未必需要记住每个冷门人物的出生年份,却必须知道该去哪里查、如何比较来源、怎样发现矛盾。

这个观点很有解释力,但需要先划一条线:它是一种趋势假说和架构判断,不是已经被模型厂商集体承认、也不是被学界完全证实的行业共识。 原文引用的模型榜单能够说明“推理成绩与闭卷事实正确率并不总是同步”,却不能单独证明实验室在有意删除知识;参数规模、稀疏激活、训练数据、后训练目标和评测提示都会影响结果。真正值得讨论的,不是“大模型已经主动失忆”这句标题,而是它指向的工程变化:知识正在从不可见的权重,迁移到可查询、可更新、可治理的外部系统。

一、参数知识从来不是一部可以随时修订的百科全书

大模型在预训练中吸收的事实,通常被称为参数知识。它的优点是调用快:一个问题进入模型,不需要额外网络请求,就可能直接生成答案。常识、语言结构、领域概念以及大量高频事实,都依赖这种内化能力。没有参数知识,模型甚至不知道用户的问题属于医学、法律还是数据库,更谈不上设计检索路径。

但参数知识有三个先天问题。

第一,它难以定位和修改。某个事实究竟编码在哪些参数里,通常没有可供业务人员直接编辑的“地址”。纠正一句错误,不像修改数据库记录那样简单,微调还可能带来知识冲突或能力回退。

第二,它有知识截止。训练数据停止收集后,职位、价格、政策、软件接口和组织关系仍在变化。训练一次、冻结一次,意味着模型发布时就已经开始老化。RAG原始论文在2020年便把“提供答案来源”和“更新世界知识”列为纯参数模型仍未解决的问题,并提出将参数记忆与可检索的非参数记忆结合。(Lewis 等,2020)

第三,存储事实确实占容量,但不能把容量估计机械地理解成产品路线。《Physics of Language Models: Part 3.3》在受控事实元组实验中估计,语言模型每个参数大约可存储2比特知识。(Allen-Zhu、Li,2024) 这项工作支持“事实不是免费午餐”,但它研究的是控制条件下的知识容量规律,并不等于真实前沿模型可以把某块“事实硬盘”完整拆掉,更不证明所有厂商都在进行同一种取舍。

因此,“忘记知识”更准确的说法是:模型设计者可能不再追求把一切最新、长尾、易变的事实都塞进权重,而是保留足以理解世界和组织任务的基础知识,把需要时效性、精确性和可追溯性的部分交给运行时系统。

二、SimpleQA说明了什么,又不能说明什么

w4g1.dev 原文用 SimpleQA 说明闭卷事实能力与数学、代码推理成绩之间存在落差。这个方向是成立的,但数字需要放回评测语境。

OpenAI在2024年发布的 SimpleQA,是一个短答案事实性基准。问题被设计为只有一个明确答案,并按“正确、错误、未作答”评分,其目标是测试模型是否“知道自己知道什么”。数据还是针对 GPT-4 的回答进行对抗式收集,因此它刻意选择了不容易的问题。(SimpleQA论文) OpenAI 的参考实现也明确区分了无工具评测;该仓库在2025年7月停止更新新模型结果,所以原文提到的2026年第三方榜单,应视为特定时间、特定评测配置下的快照,而不是永久排名。(OpenAI simple-evals)

SimpleQA真正证明的是:即使面对简短、答案唯一的事实问题,模型也远未解决“准确回答或诚实拒答”的问题。它不能直接证明“模型越新越笨”,更不能区分错误究竟来自没见过、没记住、提取失败,还是对不确定性校准不足。

但它提出了一个很现实的产品问题:如果闭卷记忆无法稳定覆盖长尾事实,那么继续把可靠性押在“模型应该记得”上,边际收益会越来越差。更合理的系统行为,是在缺乏把握时触发检索,并把“不知道”变成一种可执行动作,而不是一句失败宣言。

模型、工具链与可信数据共同构成新的知识系统

三、知识外置不是只有RAG,而是一组分工不同的工具

很多讨论把“外部知识”直接等同于RAG,其实至少有四层。

第一层是文档RAG。 它把手册、报告、制度和历史材料切分、索引,再把相关片段送入上下文。它适合相对稳定、以非结构化文本存在的知识。经典RAG架构的关键,不是简单“向量搜索”,而是把生成模型的参数记忆与外部非参数记忆结合,让知识可以更新并保留来源。

第二层是搜索。 搜索解决开放世界与最新信息问题。新闻、政策更新、市场价格和刚发布的软件版本,不适合等待下一次训练或批量重建知识库。OpenAI当前的 Web Search 文档也把“访问最新互联网信息并提供来源引用”作为工具的核心能力,并要求面向用户展示清晰、可点击的行内引用。(OpenAI Web Search文档)

第三层是数据库和业务API。 “某项制度如何规定”可以查文档;“客户A今天是否逾期、库存还剩多少”必须查事务数据库或业务系统。这里需要精确过滤、结构化查询、行列权限和实时一致性,不能靠语义相似度猜答案。

第四层是工具调用。 工具不仅提供知识,还提供计算器、日历、代码执行、工单、审批和设备接口。Toolformer研究表明,模型可以学习何时调用API、传什么参数以及如何利用返回结果;ReAct则展示了推理与行动交替、通过外部知识源补充信息的路径。(ToolformerReAct)

于是,竞争对象发生了变化:不再只是模型的闭卷分数,而是整条链路能否正确判断“该不该查”、选择哪个数据源、构造什么查询、识别返回值是否可信,并把证据约束到最终回答中。

四、幻觉没有消失,只是从模型内部转移到了系统边界

外部知识最容易制造一种错觉:只要接上RAG,幻觉就被解决了。事实并非如此。

RAGTruth收集了近1.8万条使用RAG生成的回答,研究者发现,即使已经提供检索内容,模型仍可能生成与材料无支撑或相矛盾的陈述。(Niu 等,2024) ClashEval进一步测试“模型内部先验”与“外部证据”冲突的情况,发现被测模型可能采纳错误检索内容,甚至覆盖原本正确的参数知识。(Wu、Wu、Zou,2024)

这意味着幻觉从一个问题变成了一串问题:检索器可能漏召回,网页可能过时,向量库可能混入旧版本,数据库查询可能选错字段,工具可能超时,模型可能曲解返回值,引用还可能只是“看起来相关”而没有真正支持结论。

所以,可靠系统不能只检查最终一句话,而要记录完整证据链:用户问题、检索条件、命中文档、文档版本、工具参数、返回时间、模型版本和最终引用。参数幻觉难以定位;外置知识至少让错误有机会变成可追查的数据问题,但前提是工程团队真的保存了这些地址,而不是只在界面上贴一个“已联网”的标签。

五、真正的护城河是可信数据供应链

当事实越来越多地在运行时提供,决定系统质量的将是数据供应链。

首先是治理。企业要知道数据从哪里来、由谁维护、质量等级如何、何时失效、能否用于生成式AI。NIST《生成式人工智能风险管理框架》把治理、内容来源、部署前测试和事件披露列为重点,并建议在系统清单中记录数据来源、签名、版本、访问方式、已知问题以及人工监督责任。(NIST AI 600-1)

其次是权限。过去的知识库常按“人能否打开文档”控制;Agent时代还要回答“模型能否检索、能否在回答中转述、能否调用写操作、结果能否跨部门流动”。远程工具协议也不能只解决连接。MCP授权规范基于OAuth体系,要求受保护资源使用访问令牌,并强调令牌受众绑定、验证与权限限制。(MCP Authorization) 生产系统还应坚持最小权限、短期凭证、高风险操作二次确认,以及逐次工具调用审计。

再次是缓存、版本与引用。缓存能降低延迟和费用,却可能把昨天的答案伪装成今天的事实。合理的缓存键至少要关联查询、数据源、权限范围、索引版本和时间;政策、价格、库存等数据还要设置不同的有效期。引用不能只给首页链接,而应尽量落到文档、段落、记录版本与检索时间。数据更新后,旧答案能否重放、比较和撤回,将成为企业级AI的重要能力。

这也是为什么“最强模型+杂乱知识库”可能输给“足够好的模型+高质量数据链路”。后者知道什么是权威源,能够处理冲突,能在权限范围内给出可复核答案,并在出错后定位责任环节。

六、知识也不可能被完全外置

把上述趋势推到极端,同样会出错。

离线、断网、边缘设备、低时延控制和灾害现场,都不能假设搜索服务永远可用。一个完全依赖云端检索的模型,一旦失去网络,就可能连基本专业常识都无法使用。工业控制、车载系统和涉密环境还要求确定的本地能力与可预测的降级策略。

企业内部知识也不能简单“全部外置到第三方”。未公开研发资料、客户数据、合同、人事信息和生产配方,可能受数据主权、保密协议与合规要求约束。它们即使进入外部记忆,也应位于企业控制的数据库、对象存储或本地向量库中,并继承原有访问控制,而不是被上传到一个边界不清的公共检索服务。

更重要的是,模型仍需要足够的参数知识来理解问题、生成检索词、判断来源、发现异常,并在工具失效时提供基本能力。外部系统提供“当前世界状态”,参数则提供语言、概念、程序性知识和领域先验。二者不是替代关系,而是架构上的重新分工。

七、企业应该怎样验收一套外部知识系统

这类系统不能只用一组普通问答验收。至少要准备五类测试:权威资料中可以直接找到的答案、多个版本互相冲突的答案、数据库实时变化的答案、用户无权访问的答案,以及根本不存在答案的问题。前两类检验召回与版本选择,第三类检验缓存是否过期,第四类检验权限是否在检索前就生效,第五类则检验模型能否拒绝编造。

评测指标也要从“回答像不像”扩展为端到端指标:正确来源召回率、引用对结论的支持率、过期数据命中率、越权检索率、工具调用成功率、拒答准确率、平均延迟和单次成本。对于医疗、财务、生产控制等高风险任务,还应加入人工复核比例、错误恢复时间和证据链完整率。

最关键的一项测试是故障演练。主动让搜索超时、向量索引缺页、数据库返回空值、两个来源给出相反结论,再观察系统是降级、追问、拒答,还是悄悄用参数记忆补出一个流畅答案。真正可信的AI,不是永远不失败,而是失败方式可预测:它知道证据不足,能够暴露不确定性,不会因为一个工具暂时失灵就越权改用另一个数据源,更不会把缓存中的旧答案冒充实时结果。

只有经过这些测试,企业购买的才是一套可运营的知识系统,而不是一个接了搜索框的聊天模型。

八、下一轮竞争,考的是谁能把“知道”变成一项系统能力

w4g1.dev 的文章抓住了一个值得重视的方向:随着推理效率提高,模型未必继续无限追求闭卷记忆,知识截止也可能从产品缺陷,变成由运行时数据层负责的问题。但现有证据更适合支持“知识与推理正在重新分工”,还不足以宣告“大模型厂商已经一致决定主动忘记事实”。

真正确定的变化是,模型正在从唯一知识载体,变成知识系统中的推理与调度核心。以后评价一个AI,不能只问它参数多少、训练到哪一天,还要问:它连接了哪些来源?是否查询了正确版本?能否区分搜索、文档和数据库?引用是否支持结论?权限是否最小化?每次工具调用能否审计?断网后还能完成什么?

当这些问题成为采购和部署的标准,竞争就会从“谁的大脑背得最多”,转向“谁能在正确时间,用正确权限,从正确数据源取回正确证据,并允许人类复核”。

这不是模型能力的退步,而是AI开始承认一个朴素的软件工程事实:知识会变化,权重很难改;事实需要来源,系统必须负责。

参考资料

  1. Walter van der Giessen, Models Are Getting Dumber on Purpose, 2026-08-17。
  2. Jason Wei 等, Measuring short-form factuality in large language models, 2024。
  3. OpenAI, simple-evals
  4. Patrick Lewis 等, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, 2020。
  5. Zeyuan Allen-Zhu, Yuanzhi Li, Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws, 2024。
  6. Timo Schick 等, Toolformer: Language Models Can Teach Themselves to Use Tools, 2023。
  7. Shunyu Yao 等, ReAct: Synergizing Reasoning and Acting in Language Models, 2022。
  8. Cheng Niu 等, RAGTruth, 2024。
  9. Kevin Wu, Eric Wu, James Zou, ClashEval, 2024。
  10. NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, 2024。
  11. Model Context Protocol, Authorization Specification
  12. OpenAI, Web Search ToolFile Search Tool
分享到