LLM与脚本分离

LLM与脚本分离

LLM与脚本分离

LLM与脚本分离是一种构建可靠AI Agent系统的核心工程原则。它通过将LLM的推理能力与脚本的确定性执行能力明确分离,避免了LLM在确定性任务上的幻觉,确保系统稳定可靠。

设计原则

LLM负责(需要推理的任务)

  • 合成信息
  • 优先级判断
  • 邮件起草
  • 内容总结
  • 决策建议

脚本负责(确定性操作)

  • 读写文件
  • 调用API
  • 定时任务
  • 时间戳比较
  • 数据提取与格式化

核心优势

  • 避免幻觉:LLM在时间戳比较、文件读写等确定性场景下容易产生幻觉,脚本执行则完全可靠
  • 稳定可靠:用户敢于将核心工作交给Agent,因为确定性操作不会出错
  • 可预测性:系统行为可预测,用户越用越信任
  • 调试简单:问题定位清晰——要么是LLM推理错误,要么是脚本逻辑错误

与相关概念的关系

该原则是对[[大模型不是真理机器-而是论证机器]]中关于LLM局限性的一个工程化解决方案。它承认LLM在确定性任务上的不可靠性,并通过架构设计来规避。在[[stella-ai-assistant]]案例中,这一原则是系统成功的关键。它也与[[verification-and-rework-cost]]相关——通过减少LLM在确定性任务上的错误,大幅降低了验证与返工成本。

分享到