大模型智能体在设备巡检、故障处置、网络防御和生产调度中最危险的缺陷，往往不是“不会说”，而是把不知道误当成知道。现场反馈可能延迟、含噪、相互矛盾，真正的设备状态又不可直接观测。常见 Agent 却把动作、告警、工具返回和思考过程不断塞回上下文，期待模型从越来越长的文本中自行恢复世界状态。
论文 《Belief-State Engine: Augmenting LLMs for Principled Planning Under Partial Observability》 对此给出一个尖锐判断：问题主要不在推理链不够长，而在系统架构不对。通常部署的 LLM Agent 本质上是“以历史文本为条件的策略”，没有显式维护隐藏状态的概率分布。Chain-of-Thought、ReAct、反思和长上下文是在积累文字，不是在积累概率质量。
论文提出 Belief-State Engine（BSE）：在 LLM 外部运行贝叶斯滤波器，持续维护 POMDP 隐状态的后验分布；每次决策时只把当前后验交给 LLM，不再暴露原始动作—观测轨迹。它不是给模型再加一段“请谨慎思考”的提示词，而是重新划分职责：BSE 管“现在可能是什么状态”，LLM 管“面对这个概率分布采取什么动作”。
从历史文本到信念状态：真正缺失的是充分统计量
论文把环境写成 POMDP：隐状态集合为 $S$，动作集合为 $A$，观测集合为 $O$，转移模型为 $T$，观测模型为 $Z$，另有奖励 $R$、折扣因子 $\gamma$ 和初始分布 $\mu_0$。智能体在时刻 $t$ 看不到真实状态 $S_t$，只能拿到此前的动作与观测历史 $h_t$。
理论上，完整历史当然包含计算后验所需的信息；但 LLM 实际接收的是历史经序列化后的 token 串。这个序列化过程可能截断、压缩、改写，也对顺序、措辞和格式敏感。因此，两段文本表面不同但导出同一贝叶斯后验的历史，可能让模型给出不同动作；随着上下文增长，策略还会漂移。这不只是“偶尔算错概率”，而是决策函数不再满足信念可测性。
POMDP 的经典答案是信念状态：
$$b_t(s)=P(S_t=s\mid h_t,\mu_0)$$
它不是一段“我觉得设备大概异常”的自然语言，而是隐状态空间上的归一化概率分布。更新必须分两步。先依据动作和状态转移做预测：
$$\bar b_{t+1}(s’)=\sum_s T(s’\mid s,a_t)b_t(s)$$
再用新观测修正并归一化：
$$b_{t+1}(s’)=\frac{Z(o_{t+1}\mid s’,a_t)\bar b_{t+1}(s’)}{\sum_{s’‘}Z(o_{t+1}\mid s’‘,a_t)\bar b_{t+1}(s’')}$$
这一步的工业意义非常直接：执行“降载”“切换旁路”或“隔离主机”后，世界可能已经变化，系统不能只拿新告警去乘旧概率。论文特别说明，其早期 TechRxiv 算法曾遗漏预测步骤；只要 $T\neq I$，所得后验就是错的。当前论文恢复了完整两步滤波，并把零似然观测定义为模型或环境接口异常的诊断信号，而不是悄悄吞掉。
四条公理：把“可信状态”从口号变成接口契约
论文没有把 BSE 仅描述成实现技巧，而是提出四条相互独立的公理。
第一，递归可更新：新内部状态只由旧内部状态、上一步动作和新观测计算，不必重新阅读全部历史。第二，预测充分性：若两段历史映射到同一内部状态，它们对当前隐状态和下一观测的条件分布必须一致。第三，概率内化：内部状态必须位于 $\Delta(S)$，也就是隐状态上的概率单纯形。第四，信念可测策略：动作分布只能是该内部状态的函数，不能旁路读取原始历史的措辞或轨迹长度。
前两条排除“靠全文重算”和信息不足的摘要，第三条排除无法校准的自由文本，第四条则是整套架构最容易被工程团队破坏的边界。很多系统会一边给模型结构化后验，一边附上最近五轮日志“帮助理解”。论文的结论恰恰相反：只要原始历史重新进入决策上下文，A4 就被违反，组合保证随之失效。
在这些公理下，论文证明：规范后验是满足要求的最粗粒度表示；固定为该后验后，贝叶斯更新在可达信念集合上具有唯一性；历史上的最优价值等价于信念 MDP 上的价值；不可区分的状态在没有区分性证据时不会被滤波器擅自消除；任意只依赖信念的 LLM 策略与 BSE 组合后，构成信念空间上的马尔可夫策略。
这里必须划清一条结论边界：“sound”不等于“optimal”。 定理保证组合系统在正确的信念 MDP 上有合法、可组合的马尔可夫结构，并可承接经典 Bellman 理论；它没有证明 LLM 一定会从后验中选择最优动作。BSE 消除的是“边追踪状态边做决策”的结构性混乱，不会自动补上错误奖励、糟糕策略或缺失业务约束。
架构落地：状态估计必须与语言策略解耦
论文的实现路径很克制。BSE 接收 $(a_t,o_{t+1})$，通过 $T$ 和 $Z$ 更新 $b_{t+1}$；序列化器把后验转成结构化数值文本；LLM 按固定动作菜单输出 ACTION: <action-name>；解析失败时重试一次，再采用确定性默认动作。每一步都重新构造无会话状态的提示，防止上轮 token 或服务端会话状态泄漏进策略。
对于有限状态空间，稠密预测的时间复杂度为 $O(|S|^2)$，稀疏转移矩阵若每行最多 $k$ 个非零项，可降为 $O(k|S|)$；持久内存为 $O(|S|)$。LLM 每步看到固定长度的当前信念，而不是随轨迹线性增长的日志。论文也强调，这种上下文成本优势只是副产品，核心收益仍是信念—动作分离。
论文设计了表格、Top-k 和全支持排序三种序列化方式，但主张概率支持集和归一化关系必须显式，不能退化为自由文本叙述。对大型工业系统，Top-k 虽能压缩 token，却有丢失尾部风险：低概率状态若对应灾难性后果，按概率裁剪可能违反安全目标。工业实现更合理的做法，是按“概率 × 后果”或风险约束保留关键尾部状态，而不是机械只展示 MAP 状态。
这一解耦也改变了验收方法。团队可以单独回放日志，检验滤波器是否给出正确后验；再固定同一后验，重复调用策略，检查动作分布是否稳定。前者定位模型与数据问题，后者定位 LLM 策略和解析问题。相比只看端到端成功率，这种分层诊断更适合需要追责、复盘和变更审批的工业系统。
实验读数：Tiger 有清晰收益，攻击图证据仍有限
论文的完整设计原计划比较六类方法：Reactive、CoT、ReAct、自然语言信念跟踪器、QMDP、POMCP，并执行十项消融和开放权重模型复现。但作者明确披露，受约 $10^5$ 次付费 API 调用预算限制，实际只运行 Reactive、BSE 和自然语言跟踪器三组；主实验每环境 $N=40$，消融 $N=25$，未运行 CoT、ReAct、QMDP、POMCP，也未完成开放权重复现和七项消融。因此摘要中“against six baselines”“ten targeted ablations”“open-weights replication”的表述，应以正文的实际执行说明为准。
在 Tiger POMDP 中，传感器听对方向的概率为 0.85，听一次成本为 -1，开对门奖励 +10，开错门惩罚 -100。Reactive 与自然语言跟踪器都在首轮直接开门，成功率同为 32/40（80%），平均折扣回报 -12.00；BSE 平均先监听 1.45 次，成功率 38/40（95%），平均折扣回报 3.06，Brier 分数和 NLL 也更低。这组结果支持论文的核心机制：显式概率后验让策略有机会累积证据，而“有一段信念文字”本身不够。
攻击图实验包含 6 个二元节点、64 个隐状态。BSE 的网络攻陷覆盖率为 42.1%，高于 Reactive 的 32.5% 和自然语言跟踪器的 40.8%；但平均折扣回报三组置信区间高度重叠，排序不具统计区分力。更重要的是，参考环境把所有动作的转移矩阵实现成单位阵，补丁动作与图拓扑传播也未真正实现，导致“删除预测步骤”的消融近乎删除一个本来就无效的操作。这意味着攻击图不能证明 BSE 在真实动态工业系统中的转移建模优势。
工业判断：BSE 值得做，但首先是数据建模工程
这项工作的真正价值，不是宣称“大模型终于会做 POMDP”，而是给工业 Agent 划出一条可审计的控制边界。适合优先试点的场景，应同时满足三点：隐状态有限或可因子化；动作会改变环境；传感器误报、漏报和延迟能够估计。例如设备健康分级、报警根因隔离、批次质量状态、网络资产脆弱性和有限工序调度。
但落地难点不会是调用哪个 LLM，而是如何获得可信的 $S、T、Z$。状态定义过粗，会把本应区分的故障模式合并；状态定义过细，后验维数爆炸；转移概率若来自过时手册，BSE 会稳定地产生错误信念；观测模型若忽略传感器漂移、共因失效和告警相关性，所谓“校准后验”只是模型内自洽。论文也承认，模型一旦彻底错设，对真实环境的保证就不存在。
因此生产部署至少需要四类数据边界：其一，明确哪些变量是隐状态、哪些只是观测，禁止把标签泄漏进策略；其二，版本化管理 $T$、$Z$、先验和奖励函数，并记录每次更新来源；其三，对零似然事件、后验突变、长期高熵和校准漂移设监控；其四，把安全联锁、权限、硬约束放在 LLM 动作解析之后独立执行，不能把形式上的信念一致性等同于功能安全认证。
对于连续、高维状态，论文建议粒子滤波、变分后验和因子化 POMDP 作为替代。此时理论接口仍可保留，但价值等价只在近似误差范围内成立。工程上必须另外测量有效样本量、粒子退化、后验覆盖率和模型失配，而不能只看最终任务回报。
结论：让概率模块负责“不确定”，让 LLM 负责“选择”
BSE 最重要的启发，是拒绝让语言模型同时承担状态估计、记忆压缩、概率更新和动作规划。工业现场的历史日志可以用于审计、训练和离线建模，却不应默认成为在线策略的无限上下文。在线决策需要的是经过模型更新、可校准、可复现的当前信念。
我的直接判断是：BSE 已经提供了值得采用的架构原则，但论文的实证规模尚不足以支持“通用工业智能体已获得经典规划保证”的强结论。当前最可靠的证据来自二状态 Tiger；攻击图仍是转移近乎静态、样本较小的原型。企业若要验证，应先选择一个可完整定义 POMDP、具备历史故障数据且允许影子运行的窄场景，与规则系统或经典 POMDP 规划器做配对种子、校准和决策一致性对比，再讨论扩大自治权限。
换句话说，这篇论文不是在证明 LLM 更聪明，而是在说明：当环境不可完全观测时，先把“不确定性”变成一个独立、可验证的工程对象，智能体才有资格谈可靠决策。
参考资料
- Arnab Chattopadhayay, Debdipta Halder, Belief-State Engine: Augmenting LLMs for Principled Planning Under Partial Observability, arXiv:2609.10036v1, 2026.
- 论文 PDF：https://arxiv.org/pdf/2609.10036
- 论文随附代码仓库：https://github.com/debdipta-h/bse-llm