感知-行动-反馈闭环
AI通过视口截图"感知"操作结果,基于视觉反馈做出下一步决策,形成闭环。这一机制使AI能够处理传统脚本无法处理的开放式任务。
工作原理
- 感知:AI通过截图或查询工具获取当前状态
- 行动:AI调用API执行操作
- 反馈:AI再次感知结果,判断是否达到目标
- 循环:基于反馈调整下一步行动
与传统脚本的对比
- 传统脚本:只能执行预先编排好的流程,遇到非程序化定义的任务会报错
- AI闭环:可以处理"把场景里所有看起来太亮的灯光降下来"这类模糊任务
- 例:Claude可以截图、判断、选中、调整、再截图验证——一整套人类设计师的工作循环