模型无持久记忆

模型无持久记忆

模型无持久记忆

定义

大语言模型本身没有持久记忆能力。它更像一条计算完成就清空现场的流水线。模型之所以表现出"记得上下文"，是因为每次用户发新问题时，平台都会把之前的对话记录一起打包，再连同新问题作为一份新的输入重新发给模型。

工程本质

  • 每次请求都是独立计算
  • 模型不保存任何历史状态
  • "记忆"是通过 Context（上下文）机制模拟的
  • Context 包含：用户问题、历史对话、系统设定、工具返回数据等

工程意义

  1. 解释模型行为：解释了为什么模型在长对话中可能"忘记"早期内容
  2. Context Window 的重要性：模型的"记忆"容量受 Context Window 限制
  3. RAG 的必要性：当需要外部知识时，不能依赖模型"记住"，必须通过 RAG 注入
  4. 成本考量：每次请求携带的历史对话越长，Token 成本越高

与相关概念的关系

  • [[Context-Window]]：模型的"记忆"容量上限
  • [[RAG]]：解决模型"记不住"外部知识的工程方案
  • [[Prompt-Engineering]]：通过 System Prompt 在 Context 中设定行为规则
分享到