机器人进厂之前,先把感知与技能数据接起来

机器人进厂之前,先把感知与技能数据接起来封面

分类建议:工业智能 标签:软件定义感知、3D视觉、触觉采集、机器人技能、工业数据 缩略图:[占位:移动机器人感知区域与人工操作技能采集的现场示意图;暂不生成图片]

机器人在工厂里看清一个物体,与可靠地搬起、插入或拧紧它,是两件不同的事。前者需要在运动中识别空间、距离和障碍;后者还得判断何时接触、接触后施加多大力、出现偏差如何修正。9月24日的两条产品消息,正好落在这条链路的两端:Leopard Imaging与Lumotive发布Sirius Max长距3D感知平台;Tacta Systems扩建新加坡生产设施,重点生产用于采集人类操作数据的Tacta Glove。把它们放在一起看,比单独讨论一台相机或一只手套更有价值。

机器人进厂之前,先把感知与技能数据接起来 技术架构图

不要把“看得更远”直接等同于“干得更稳”

按照发布信息,Sirius Max将RGB图像与iToF深度数据结合,经GMSL2连接工业主机;其宣称的室内外探测距离超过20米,深度分辨率约100万像素。设备的重要变化不是单纯提高像素,而是借助可编程光束控制,根据任务动态设置感兴趣区域。传统方案常把整个视场按固定方式采集,再交给后端算法筛选;软件定义感知则允许任务侧反过来决定传感器重点关注哪里。

这会改变感知资源的分配。移动底盘在通道中行驶时,关注前方行人和叉车交汇区域;驶近工位时,转而关注停靠标识和机械臂可达范围;抓取前再把采集重点缩到目标及其接触边缘。如果每个阶段都要求全视场、最高刷新和最细分辨率,带宽、算力与功耗很容易先耗尽。动态感兴趣区域的实际收益,必须以任务成功率、漏检率和系统延迟衡量,不能只拿传感器参数作结论。

所谓“软件定义”也不是把安全交给一个配置文件。现场需要规定不可缩减的安全观察范围:即便模型判断目标位于画面一侧,人员可能进入的区域仍应持续监测。感知调度可以优化资源,但不应取消独立的避障或安全保护链路。安装位置、反光材质、强日照、灰尘、遮挡、振动以及网络链路异常,都可能让纸面距离在现场打折。验证时应记录不同工况下的有效探测距离、深度置信度、帧时间戳和失效模式,而不是只拍一段顺利运行的视频。

技能采集补的是“接触之后”的信息

Tacta Systems在新加坡Woodlands增设办公室与生产设施,首批重点是Tacta Glove,并计划支持2027年初的客户规模化部署。其披露的采集方式,是把力、运动、温度等传感数据与视频同步,记录人类完成任务时的动作与接触信息;公司还与A*STAR旗下研究机构合作扩展触觉传感器量产能力。这是产能与产品规划,不等于某种机器人技能已经被证明可直接泛化到所有产线。

公开视频能让模型看到手臂走到哪里,却很难告诉它插头碰到边缘时受到怎样的阻力、拧紧过程中何时应减速、拿起柔软零件时手指怎样微调。很多失败发生在接触瞬间:视觉位置差一点、夹具公差变一点、材料摩擦系数换一批,原本可复现的轨迹就会失效。触觉数据的用途,是给动作序列补上接触状态与反馈,使模型有机会学到“发现受力异常后怎样调整”,而非死记一条标准路径。

但人手数据也不能直接当机器人控制指令。人手自由度、皮肤触感与机器人末端执行器不同,同一个动作名称在不同工具、零件和工装下对应不同的力学约束。更稳妥的做法,是把示范数据拆成任务阶段:接近、初始接触、对齐、施力、确认、撤离。每一阶段同时保存视觉、深度、手部姿态、受力变化、工件信息以及成功或失败标签,再由具体机械结构确定可执行动作。这里“失败样本”并非杂质;卡住、滑落、过载及人工接管时刻,常比一段流畅演示更能定义安全边界。

一条可落地的数据链路应长什么样

先从任务和产线约束起步,而不是先采购传感器。选定一个重复度高、耗时可统计、接触过程明确的工序,列出零件品类、公差、允许节拍、质量判定和人工干预条件。对于移动搬运,空间探测与路径安全是主问题;对于插接装配,接触质量与受力控制可能更关键。两类场景不能套用一份验收表。

在采集层,RGB和深度帧应带统一时间戳、设备标识、标定版本与任务上下文;手套的运动、力、温度数据要与视频对齐,并保留采样频率与缺帧记录。不同传感器时钟不一致,会把“接触前”误当成“接触后”,训练集越大,错误越难发现。标定参数需要版本管理:相机位置调整、夹爪更换、工装改造之后,旧数据不一定仍能与新坐标系混用。

在数据层,不建议只按视频文件夹归档。每次作业应能追到工位、工件批次、操作者或设备、任务版本、环境变化、质量结果和异常原因;涉及员工操作数据时,还要明确采集告知、使用范围、访问权限及保存期限。标注应优先描述可检验事件,例如“首次接触”“滑移”“插入到位”,少用笼统的“操作熟练”。对于高频力觉曲线,不必把全部原始数据无差别送去训练;可以同时保留可审计的原始记录、用于检索的事件索引和用于建模的对齐片段。

在模型和控制层,任务规划、目标识别、位置估计、接触状态识别与底层闭环控制最好各有接口。感知模型可以提出候选目标与置信度,控制器仍需按速度、力和可达空间执行硬约束。把动态感兴趣区域也作为一项受控输出:谁请求改变观察区域、何时生效、未收到新配置时回到什么默认状态,都应可追溯。机器人异常停机或操作员接管不能被训练流水线抹掉,应成为下一轮评估的输入。

最后建立回流机制。现场部署后的数据分为正常运行、边界工况、人工接管和事故前兆,先经工程人员筛选与脱敏,再进入训练或测试集。不能让模型上线后的自生成动作自动成为“正确示范”。版本发布要对应明确的设备配置、模型版本和回退方案;一项技能在A工位过关,不代表在B工位更换照明、夹具和零件后仍然过关。

从样机到产线,四类风险要单独验

第一是感知盲区。动态扫描若过分追随当前目标,可能忽略侧向进入的人员或车辆。验收中应设计目标突然遮挡、多人交错、逆光、反光、黑色表面等场景,并把漏检与误报分开统计。安全功能要按既有现场要求独立审查,不以算法平均准确率替代。

第二是数据偏差。示范者可能为了配合采集而放慢动作,挑选质量最好的工件,甚至跳过费力的返工步骤。这样的数据会让模型在演示环境表现不错,却在夜班、不同批次和设备磨损后失效。采样计划应覆盖正常波动和异常,同时避免把危险动作当成学习目标。

第三是时间与坐标误差。RGB、深度、触觉与机器人关节状态如果不能可靠对齐,接触事件就会被归因给错误动作。比追求更大的数据量更早要做的,是端到端同步测试、标定复核和回放检查。日志要足以重建一次失败:机器人当时看到了什么,系统为何选择该动作,控制器是否拒绝了它。

第四是组织责任。采集设备供应商负责数据质量边界,机器人集成商负责控制与安全集成,工厂负责工艺和验收,模型团队负责版本与失效分析。若合同和现场流程只写“AI系统负责”,故障时几乎无法定位。采购阶段就应约定接口、数据可携带性、标定方法、维护频率和故障响应。

一个不冒进的试点顺序

第一步,选工序。以现有人工节拍、良率、返工率、险情和停机时长建立基线;选一个需求稳定且可安全退出的任务。不要同时承诺移动导航、柔性抓取和复杂装配全部自动化。

第二步,画数据图。列出每个阶段需要的RGB、深度、触觉、设备状态与质量信号,标出采样频率、时间同步方式、保存位置与访问者。凡是现场没有可靠标签的结果,先设计检测办法,再谈训练。

第三步,分离离线评测与现场试运行。先用留出的工件批次和工况测试,再从低速、有人监护的运行开始,逐步扩大范围。评估至少包含成功率、单次周期、人工接管率、过力事件、漏检、设备利用率和维护投入,不能只报模型识别精度。

第四步,留回退。传感器失联、标定失效、模型置信度不足或控制越界时,系统回到已定义的安全状态;现场人员有清晰的暂停和接管方式。回退不是项目失败,而是产线能够容忍新技术试错的前提。

Sirius Max展示了感知资源可被任务动态调度的方向,Tacta Glove的产能扩张则提示接触数据采集可能走向标准化。两者之间仍隔着数据接口、同步、工艺标签、控制约束和长期维护。工厂若想从“机器人看得到”走到“机器人做得稳”,应先把这几段链路接实,再讨论通用技能的想象空间。

资料依据

  • 2026年9月25日《工业智能每日观察》所列Leopard Imaging / Lumotive、Tacta Systems发布信息。本文仅依据该日报中的事实与数值进行工程分析;试点架构和检查项属于分析建议。
分享到