持续执行能力

持续执行能力指系统长时间、稳定、不间断地运行和响应任务的能力。在AI执行时代，这是关键需求之一。代理型AI是在线服务，面向的是人，服务的是实时任务，因此更在乎延迟够不够低和状态切换够不够快。与训练时代追求峰值吞吐量不同，执行时代需要系统能长时间稳定运转、逻辑切换流畅、内部通信高效。CPU（尤其是ARM架构CPU）在这种持续低延迟执行上有非常强的竞争力，而高功耗GPU在7x24小时持续运行场景下成本过高。