异步强化学习
异步强化学习是一种训练范式，模型在服务实时请求的同时，在后台进行训练，无需暂停服务或协调数据收集。
核心特点
- 零协调开销：训练和推理并行进行，互不干扰。
- 用户透明：用户完全感觉不到训练在进行，代理正常响应。
- 持续学习：代理可以边用边学，无需专门的数据收集阶段。
在OpenClaw-RL中的实现
[[openclaw-rl]]采用全异步设计，框架分成三个并行组件：
- 推理服务：处理实时请求。
- PRM Judge：后台分析下一状态并提取奖励。
- 训练器：持续更新策略。
优势
- 解决了传统RL需要批量离线收集数据的瓶颈。
- 支持大规模环境并行，既能训练个性化代理，也能扩展到通用任务。
- 训练数据无限增长——用户越多、任务越多，代理越强。
挑战
- 需要额外的GPU算力支持后台训练。
- 长期自我进化可能导致[[政策漂移]]。