0
大模型接口返回 200,不代表任务成功:LLM 应用的韧性工程
传统后端服务里,错误通常有清晰信号:连接超时、HTTP 500、字段校验失败或数据库事务回滚。大模型应用增加了一类更麻烦的状态——调用在技术上完全成功,模型也输出了合法文本甚至合法 JSON,但内容不可用、事实错误、遗漏约束,或者生成了会让后续工具执行危险动作的参数。
传统后端服务里,错误通常有清晰信号:连接超时、HTTP 500、字段校验失败或数据库事务回滚。大模型应用增加了一类更麻烦的状态——调用在技术上完全成功,模型也输出了合法文本甚至合法 JSON,但内容不可用、事实错误、遗漏约束,或者生成了会让后续工具执行危险动作的参数。
GitHub一次级联事故中,客户端重试缺陷把Token Service流量放大约10倍。本文拆解重试正反馈、指数退避与jitter、retry budget、熔断限流、幂等性和渐进恢复。