机器人看得见钥匙，也听得懂“打开门”，但钥匙触到锁孔的瞬间，单凭画面很难判断是对准了还是卡住了。2026年11月5日，松下控股与加州大学伯克利分校、英伟达、斯坦福大学等研究者联合公布T‑Rex触觉反应式机器人操作AI。系统用视觉语言动作模型（VLA）做较慢的任务规划，用指尖触觉做更快的动作修正；在12项真实接触型任务中，团队报告65%的平均成功率，比对照方法高30个百分点。研究已被CoRL 2026接收，团队计划于11月9日至12日的会议上介绍。[1][2] 这项工作的看点是：机器人碰到物体之后，能不能及时纠正自己。
难点从接触开始
自动化生产线早已拥有成熟的机器人技术。焊接、喷涂、搬运和规则工件上下料可以依靠固定轨迹、夹具以及高重复精度完成，系统在限定工况内非常可靠。但工厂里仍有大量工作无法轻易交给机器人：柔性线缆插接、薄片分离、精密螺纹装配、异形件取放、工件微小错位后的重新对正。人类操作这些物品时并不持续盯着每一个接触点，而是在触碰瞬间根据滑动、阻力与形变自动微调动作。即使眼睛看不清楚，也能凭指尖判断是否抓牢。传统视觉机器人擅长判断物体在哪里，对“正在发生的接触”则往往反应较慢。
近年来，视觉语言动作模型提供了新思路：把摄像头画面和自然语言指令输入模型，直接预测机器人动作。它提升了跨任务的理解和泛化能力，但高容量视觉语言模型通常需要较长推理时间。接触操作对控制周期的要求又很苛刻，电机和手指已经与物体发生作用，远处的视觉规划结果才到达控制端，容易出现过冲、滑移或者姿态误差。解决办法不一定是让所有模块都运行得更快，而是把不同时间尺度的判断组织起来：高层控制负责“做什么”，低层快速响应负责“此刻怎么做”。T‑Rex选择把任务规划与接触后的快速修正分开，这比单纯给机器人多装一组传感器更值得看。
5Hz规划、20Hz修正，各管一段时间
松下公告介绍，T‑Rex将视觉与语言驱动的动作生成模块运行在约5Hz的频率，触觉反馈驱动的动作修正模块运行在约20Hz。前者持续理解任务并生成运动方向，后者每秒多次根据指尖传感器读数调整局部动作。20Hz并不是机器人底层伺服系统的极限控制频率，而是论文所述学习型触觉修正模块的更新速度。团队用可变速率Mixture-of-Transformers架构和时间序列触觉编码器来组织信息，使触觉反馈可以在不拖慢主模型推理的情况下发挥作用。这与工业自动化里任务规划器、运动控制器和快速闭环各司其职的做法相通；不过学习型触觉模块的20Hz不等于底层伺服控制频率。[1][3]
这种结构降低了对“单个万能模型”的依赖。当视觉系统判断抓取点基本正确，手指却发现物体正在滑动时，快速校正模块可以先处理局部问题；只有任务整体状态发生变化，才需要高层重新规划。未来这类系统是否能进入工厂生产线，还要经过几道工程关口：触觉传感器要经得起油污、粉尘和长期磨损，夹爪需要在不同材质工件间维持校准，模型需要处理温漂、机械间隙和人机协作的安全要求。实验验证了控制思路；要在产线长期运行，传感器寿命和标定维护还得单独过关。
接触数据比动作视频难收集
研究团队没有只依靠网络视频训练动作。松下披露，开发者从22类基础动作、200多种日常物体出发，采集超过7700个双手操作片段，形成约100小时同时包含视觉、动作、传感与自然语言指令的数据；十个指尖传感器记录力与形变信息。模型还利用约22889小时的人类第一视角视频进行前期视觉与动作知识学习，再使用触觉数据进行中期训练，最后针对特定任务用约100次示范微调。这套数据方案的特点是把大量低成本视觉知识与数量相对有限、采集昂贵的接触数据结合，而不是幻想所有工作都能在真实机器人上无限次试错。[1]
工厂可能保存了多年的设备日志，却没有多少抓取失败时的触觉记录。拍下操作视频也不够：手指受力、物体是否滑动、恢复动作何时开始，都需要和画面、控制指令对齐。建数据集时可以先挑轻压、插入、旋紧等常见接触动作，给传感器统一时间戳；除了成功案例，也把打滑、卡住和重新寻找位置的过程留下。一次失败如果记录完整，往往比反复录下同一个成功动作更能帮助团队设计恢复策略。
65%的平均成功率离产线验收有多远
松下公布T‑Rex在12个真实任务上平均成功率65%，基线约35%；移除触觉后表现下降，表明触觉在本次测试中确实承担了关键作用。测试涉及翻页、转移鸡蛋、涂牙膏、开锁、抽卡和旋入灯泡等任务，都需要精细力控。65%还达不到工业量产线连续运行的要求；在这12项接触型双手任务上，比基线高30个百分点，仍值得研究。具体任务难度、起始条件、试验次数和对照方法会影响数字，工厂不能直接拿论文的成功率估算生产节拍。[1][3]
工厂验收的统计口径比论文演示严格得多。对于一项每分钟执行多次的装配动作，单次成功率即使达到99%，连续数千次运行后仍可能积累大量人工干预。生产管理者需要按工件批次和实际生产环境统计连续运行时间、每千次操作故障数、自动恢复比例、工件损伤率和维护工时。模型可以作为提升灵活性的基础能力，但产线仍应设计机械限位、力矩保护、异常停机及人工接管。T‑Rex目前的合理产业定位是为下一代接触操作提供可复现的研究方向，距离特定产品的工业级应用还有传感器、算法、机械结构与工艺验证等多个工程环节。
看一条产线，需要看整套工作单元
把触觉智能引入工厂，首先要确定最适合的工序。高价值候选场景通常有三个共同特点：人工依赖较强，传统固定工装难以覆盖变化，且接触风险可被传感器和物理保护机制有效限制。例如线束连接器插拔、电子模块放入狭窄空间、软性包装整理和小批量精密装配，都可能从具备局部触觉修正能力的机器人受益。相比之下，规则的大批量高速搬运已经有成熟的专用自动化解决方案，复杂学习型灵巧手并不天然具有成本优势。机器人智能程度应与工艺复杂度匹配，而不是越复杂越好。
一个能交付的工作单元，还得接上现有产线。MES提供订单和工艺版本，视觉识别物料，机器人执行动作，质检系统判断结果，设备平台记录异常。各系统至少要能按物料、工位和任务对上号，否则一次插接失败发生后，工程师连是哪批来料都查不清。触觉数据不必全部永久保存；留存异常前后的关键窗口，并关联工件与模型版本，才方便追溯和后续训练。
仿真可以筛动作，真实接触负责纠偏
工业机器人研发团队普遍使用数字孪生或物理仿真降低试验风险。视觉定位、路径规划和碰撞检测已经可以在虚拟环境中开展大量验证，但接触操作中的摩擦系数、材料弹性、表面污染和柔性物体形变往往很难被简化模型完全表达。仿真可以帮助筛选动作与极端工况，真实触觉数据则用于校正接触模型和识别仿真偏差。一个有效的研发流程应当让两者相互回流：先利用物理模型排除显然不安全的动作，再在试验工装上采集力和位移，根据偏差修订参数，随后用更多真实物料批次验证控制策略。
如果把触觉信号直接接入数字工匠或工业智能体平台，系统可以进一步组织跨岗位协同。例如模型发现连续插接失败，可结合设备标定记录、工装版本、来料尺寸和操作视频给出排查任务；工艺工程师确认后形成新的作业参数，质量工程师再验证修改前后的合格率。这里语言模型的主要作用是调取信息、组织任务与解释证据，微秒级或毫秒级控制仍应由专门控制器承担。语言模型可以辅助调取记录、安排排查，微秒级或毫秒级控制仍要留给专门控制器；工厂不能让一个会解释故障的模型直接代替安全回路。
第一条试点工序怎么选
制造企业不妨从一条低风险工序试起。先记录人工节拍、常见接触失败及工件损坏成本，再选几种典型尺寸与材料做可重复试验。同样的工装下，分别比较固定轨迹、视觉引导与触觉修正；接着观察连续运行、异常恢复和维护工作量。试验结果稳定，再考虑接入生产系统。如果测试只展示一次高难度动作成功，难以支持投资决策；如果能在不同来料批次、不同班次中持续降低干预率，项目就拥有可量化的扩展依据。
试验要有失败后的动作约定。机器人发现异常阻力时，是松手、退回安全位置，还是等待人工检查？这项决定取决于工件价值、工装结构和现场人员位置，不能只让模型按训练时学到的动作猜。每次中断最好记录传感器原始值、控制命令、机械限位触发情况及工件结果；否则成功率相同的两套方案，可能一套只需重试，另一套却频繁损坏部件。
触觉传感器供应商、夹爪厂商、机器人本体厂商和工业软件公司也将围绕这种需求寻找分工。模型平台需要解决统一的传感接口和数据格式，硬件厂商要降低手指可靠性和标定成本，集成商则负责工位安全、质量追溯与维修服务。相比单纯追逐人形机器人外形，这条由实际工序牵引的产业链更容易形成合同与持续收入。机器人是否能帮助工厂解决用工和质量问题，最终取决于它在几万次实际接触中如何表现，而不是发布视频的观看量。
工业价值要靠长时间运行来证明
同一件工件，摩擦、姿态和夹持压力稍有变化，原来的动作就可能失灵。视觉与语言给机器人任务方向，触觉告诉它接触是否符合预期；这种分工与工业控制的分层思路并不矛盾。接下来要看更多接触数据和第三方基准能否开放，也要看供应商能否拿出可维修、可标定的工作单元。一次精巧的开锁演示说明机器人学到了动作；换一批工件后还能稳定运行，才说明它接近工厂需求。
换了手指，模型还认得触觉信号吗
触觉模型在实验室中使用的传感器与生产现场长期运行的手指组件，必须通过完整的数据一致性检查。传感器标定、安装位置、时间同步、磨损和换件后的参数差异都会影响模型判断。企业若把一次性采集的数据直接训练后长期使用，设备状态变化可能让原先有效的控制策略逐步失准。因此工作单元应设置周期校准、异常数据筛查、模型版本追踪和现场反馈机制，并把重要失误样本回传至研发环境。触觉数据与工艺批次及物料状态建立联系后，企业还能分析接触异常是否来自来料尺寸、夹具偏差或设备老化，帮助质量管理与预测维护共同改善。
传感手指、抓取器和控制平台都有价格与维护成本。高价值易损工件若能明显减少损伤，昂贵传感器也可能值得；标准低价零件则可能用机械导向和工装改进解决。集成商需要把不同方案的良率、节拍、换件频率及维护工时放在一起比较。T‑Rex提供了研究中的控制方法，能否成为产品还取决于传感器寿命、工序适配和售后维修。
参考资料
- Panasonic Newsroom Global，Panasonic HD Co-Develops a Robot Manipulation AI That Performs Dexterous Bimanual Tasks by Reacting Instantly to Fingertip Touch，2026-11-05，技术及实验数据：https://news.panasonic.com/global/press/en261105-2
- arXiv，T‑Rex: Tactile-Reactive Dexterous Manipulation，2026-06-15首发、2026-11-05松下发布专题新闻，模型架构与任务评估：https://arxiv.org/abs/2606.17055
- T‑Rex研究项目页面，论文与数据、演示说明，研究背景：https://tactile-reactive-dexterous.github.io/