上下文熵 (Context Entropy)

上下文熵是指AI在超长会话中丢失焦点或产生幻觉的问题。这是当前大语言模型面临的核心技术难题之一。

问题描述

当AI模型处理超长上下文时，其注意力机制可能逐渐分散，导致模型丢失对话焦点、遗忘早期信息或产生与上下文不一致的幻觉输出。这一问题严重限制了AI在复杂、多轮交互任务中的表现。

解决方案

Anthropic在Claude Code中通过"自愈记忆"系统试图解决上下文熵问题。泄露的代码展示了一个被称为"自愈记忆"的三层记忆系统，这是Anthropic解决该问题的核心技术方案。

相关概念

• [[自愈记忆]] — Anthropic提出的解决方案
• [[claude-code]] — 应用该技术的产品
• [[anthropic]] — 技术开发者