自动故障转移
Cloudflare [[AI Gateway]] 的核心功能之一，当首选模型 API 超时或出错时，无缝、自动地将请求路由到备用模型供应商。
工作原理
配置一条优雅的回退链。例如：
- 首选 OpenAI
- 如果 OpenAI 超过 3 秒没有响应或返回 500 错误，自动切换到 Anthropic
- 如果 Anthropic 也不行，切换到 Cloudflare 部署在边缘节点上的 [[Llama 3]]
核心优势
- 无缝切换：对 Agent 来说，根本不知道底层发生了多大的波折，只知道自己每次请求都及时得到了回复
- 工业级高可用性：确保 Agent 在模型 API 不稳定时仍能正常工作
- 零代码配置：不需要在 Agent 代码中编写复杂的重试、降级和熔断逻辑