人类演示视频不能直接变成机器人动作。实际系统却需要连续解决多个性质不同的问题：识别物体、估计空间关系、恢复运动、构造碰撞几何、生成可执行轨迹，再判断任务是否完成。每一步都会引入误差，后续模块还可能把前一步的估计误当成确定事实。
RoboSkills 将相关能力拆成多个工作流，包括 Real2Sim、Agent as Policy、Auto Research、Agentic Simulation 和 Motion Generation。仓库明确标出了这些流程的信息条件：有的使用物理仿真，有的允许特权仿真状态，有的仅做运动学和渲染。[1] 评估时必须分清“视频看起来正确”和“控制策略在真实机器人上有效”；两者所需的验证不同。
Real2Sim 首先要恢复尺度与坐标关系
图像分割给出目标轮廓，深度估计给出空间线索，三维重建给出几何形状，但它们未必直接产生准确的物理模型。单目场景尤其容易出现尺度不确定、遮挡面缺失和接触表面失真。把一个视觉上逼真的网格放进仿真器，并不会自然获得正确的质量、惯量或摩擦系数。
对桌面抓取来说，坐标链应被明确记录。例如目标在机器人基座下的位姿，可以通过相机外参与视觉估计组合得到：
[
T_{base,obj}=T_{base,camera},T_{camera,obj}.
]
式子很短，却隐藏了时间同步、坐标轴约定、旋转表示和单位等常见错误。如果相机在机械臂末端，还要引入机器人当前姿态及手眼标定关系。对动态目标，过时几十毫秒的观测也可能改变抓取结果。
因此，场景资产应保留每项参数的来源：直接测量、模型估计、人工设定或默认值。关键参数最好带有范围，以便后续扰动测试。这样才能区分“策略对物理变化不鲁棒”和“仿真模型本来就不可信”。
Agent as Policy 更适合放在可验证技能之上
让语言模型观察场景并选择下一步动作，是一种清晰的高层策略表达。但模型调用延迟、输出波动和外部服务可用性，使其难以承担高频伺服职责。工程系统可以让它选择抓取、移动、放置等受约束技能，由确定性的控制服务完成轨迹执行。
每个技能应有前置条件、输入范围、完成判据和失败出口。例如“将零件放入料盒”不能仅以轨迹执行结束作为成功。还需要确认夹爪释放、目标位置变化及料盒占用状态。技能结果应同时包含控制器状态与任务级证据，避免把运动完成当成业务完成。
接入已有 ROS2 控制链时，可以在上层设置任务适配器，将高层参数转换成现有 action 或 service 请求。机器人驱动、运动规划、碰撞约束和急停链仍由其已有控制系统负责。这个分层便于保留已经验证的控制能力，同时研究上层任务理解与重试策略。
自动研究必须防止学会评测脚本
Auto Research 的吸引力，是让智能体反复修改策略并运行仿真。但如果每次都在相同的布局、相同种子和相同判据上优化，它也可能逐渐利用测试环境的规律。最终成绩提高，却没有形成能迁移的技能。
更合理的实验设计，是将开发场景、调参场景和冻结测试场景分开。策略确定后，再用未参与修改过程的布局和随机种子进行测试，并记录所有失败类型。评测条件还要说明是否允许读取物体真实位姿、接触状态或隐藏标签；这些仿真器特权信息不能默认视为真实机器人可获得的观测。
任务成功率之外，还应记录执行时间、碰撞事件、重规划次数、人工接管次数和资源消耗。仓库展示的少量固定种子与成本案例适合帮助理解工作流；企业选型需要更大样本及完整成本口径，包含仿真、模型服务、资产准备和工程调试。[1]
面向展厅与实训的一条可实施路线
对于已有机器人控制系统的展厅，可以先选择单一桌面任务，例如在固定工作区内将可辨识零件放入指定容器。第一阶段只做场景识别与仿真回放；第二阶段在受控条件下执行既有技能；第三阶段再加入遮挡恢复、任务中断和跨会话续接。
每推进一步，都应保留与上一阶段可比较的结果。场景重建误差、轨迹可达性、真实抓取成功率和任务恢复能力分别评价，避免用最终演示视频掩盖中间问题。Motion Generation 产生的动作视频也应单独看待：运动学合理性、动力学可行性和硬件可执行性需要不同的检查。
我们认为，RoboSkills 所代表的工作流组织方式，有利于把庞大的机器人智能问题拆成可复用实验。可迁移到工业现场的是带坐标、尺度、前置条件和验证记录的技能；演示视频本身不足以支撑复现。
参考资料
[1] RoboSkills 官方仓库与工作流说明：https://github.com/openrobokit/roboskills
Real2Sim：https://github.com/openrobokit/roboskills/tree/main/src/roboskills/workflows/real2sim
Auto Research：https://github.com/openrobokit/roboskills/tree/main/src/roboskills/workflows/auto_research