摘要：Gemini Robotics 2把机器人能力从固定桌面的抓取与放置，推进到行走、下蹲、携物、双手协同和多机配合。其关键不是单一动作模型变大，而是具身推理、VLA、本地执行、传统控制和功能安全开始形成分层软件栈。
2026 年 7 月 30 日，Google DeepMind 发布 Gemini Robotics 2、Gemini Robotics ER 2 与 Gemini Robotics On-Device 2。三套模型分别承担动作生成、高层推理和本地执行，试图把机器人从单次桌面操作推进到持续数分钟、涉及全身运动和多机协作的复杂任务。
过去两年，具身智能最常见的演示场景，是一台固定在桌边的双臂机器人：听懂“把红色积木放进盒子”，随后完成抓取和放置。这类演示已经包含视觉识别、语言理解与动作生成，却有一个很强的前提——工作台、机器人底座和可操作区域大体固定。
一旦任务变成“把桌上的洒水壶送到货架底层的绿色箱子里”，系统面对的问题会骤然增加。机器人需要走到桌边，调整站位，俯身抓取，携物行走，再次下蹲并准确放置。移动会改变相机视角，手臂动作会影响身体重心，接触力、关节限位、障碍物和人类活动还会持续改变可行动作的边界。原本相对独立的导航、平衡和操作，开始相互耦合。
Gemini Robotics 2 的关注点正在这里：把“看懂并抓住”扩展成“理解任务、持续观察、协调全身、确认完成”。它所展示的价值，不只是一台人形机器人多走了几步，还在于一套分层的物理智能架构逐渐清晰——ER 2负责高层计划、监控和调度；Robotics 2与On-Device 2分别提供高能力和端侧高效率的动作模型选择；传统控制器与硬件安全系统继续守住物理边界。
一次发布，三种不同职责
DeepMind 此次同时公布了三个模型。它们名称相近，角色差异很大。
| 模型 | 技术类型 | 主要输入 | 主要输出 | 系统角色 |
|---|---|---|---|---|
| Gemini Robotics 2 | VLA，视觉—语言—动作模型 | 视觉、自然语言 | 电机控制相关动作 | 执行全身运动与精细操作 |
| Gemini Robotics ER 2 | VLM，具身推理模型 | 文本、图像、连续视频、音频 | 文本响应及函数/工具调用 | 高层任务大脑与流程调度器 |
| Gemini Robotics On-Device 2 | 轻量 VLA | 文本、图像、本体感知数值 | 数值化机器人动作 | 无网或低时延场景中的本地执行 |
其中，ER 是 Embodied Reasoning，即“具身推理”；VLA 是 Vision-Language-Action，即“视觉—语言—动作”。普通视觉语言模型回答“画面里有什么、下一步该做什么”，VLA 还要输出机器人能够执行的动作。对机械臂而言，这类输出可对应末端执行器位姿、夹爪开合或关节动作序列；对人形机器人而言，它还会牵涉腿、腰、躯干、双臂和手指之间的协调。
官方模型卡显示，Gemini Robotics ER 2 建立在 Gemini 3.5 Flash 之上，可交错接收文本、图像、视频和音频，输入上下文最高 128K，文本输出最高 64K。它不直接承担高频伺服控制，而是把 VLA、导航接口、搜索服务或其他机器人 API 注册成工具，根据连续视频和任务状态决定何时调用。
这形成一种清晰的分工：ER 2 负责“该做什么、做到哪一步、是否需要重试”，并可调用任意较低层VLA、导航接口或机器人API；Robotics 2和On-Device 2则分别提供高能力与端侧高效率的动作模型选择。VLA生成全身动作策略，低层控制器负责落实实时平衡、碰撞规避、力控和硬件约束。
为什么“全身控制”比机械臂抓取难得多
固定机械臂也有多个自由度，但它的基座和支撑面基本不变。人形机器人在走路、下蹲、伸手或双手搬运时，支撑关系持续变化。系统必须同时满足几组约束。
第一组是稳定性。机器人不能只让手抵达目标，还要让整体质心与接触力保持在可控范围内。双脚站立、单脚迈步、弯腰取物对应不同的支撑多边形；手里物体的质量和位置又会改变动力学条件。
第二组是运动学可达性。手臂伸到极限后，继续靠近目标可能需要躯干前倾或向前迈步。任何局部最优动作都可能让后续姿态进入死角，因此路径规划要兼顾任务的连续性。
第三组是视角变化。固定相机看到的是相对稳定的工作台，人形机器人的头部和身体运动会不断改变图像。系统既要在新视角中重新定位物体，也要维持对“刚才那个洒水壶”和“底层绿色箱子”的时间一致性。
第四组是接触与操作。手指接触袋口、绳结或柔性物体时，毫米级偏差就可能导致失败；同时，手部动作产生的反作用力会传到手臂和身体。全身控制因此是一项强耦合问题，状态维度更高，错误也更容易沿动作链传播。
DeepMind 的演示中，Apptronik Apollo 2 接到“把洒水壶放进底层绿色箱子”后，完成了走近桌子、抓取、携物移动和低位放置。官方也明确承认，当前机器人的移动速度仍有提升空间。这点很关键：能够串起整段任务，说明系统边界向前推进；速度、成功率和稳定性距离工业节拍仍有差距。
VLA 如何把一句话变成身体动作
传统机器人系统往往依赖工程师把任务拆成明确模块：目标检测给出物体坐标，抓取规划器计算抓取点，路径规划器生成轨迹，控制器再让电机跟随。优点是每层可解释、可测试；代价是场景变化后需要重新标定、写规则或采集专项数据。
VLA 使用大量“观察—指令—动作”序列学习统一策略。可把它简化为一个条件概率模型：在时刻 $t$，模型依据最近的视觉观测 $o_{1:t}$、语言指令 $l$ 和机器人本体状态 $s_t$，预测后续一段动作 $a_{t:t+h}$：
$$
p(a_{t:t+h}\mid o_{1:t}, l, s_t)
$$
这里的 $s_t$ 包括关节角度、速度、夹爪状态等数值。动作输出通常不会直接等同于电机电流，而是交给实时控制器继续做轨迹跟踪、约束检查和力矩控制。模型负责从语义目标生成动作意图，确定性控制层负责以稳定频率落地。
Gemini Robotics 2 还强调多形态能力。官方展示同一个模型检查点控制三套差异明显的硬件：配备 SharpaWave 五指手的 Apollo 2、配备 Inspire 手的 Apollo 2，以及使用 Robotiq 两指夹爪的 Franka Duo。五指手和两指夹爪的动作空间完全不同，同一策略要理解它们共享的任务语义，同时适配各自的关节和传感器接口。
在精细操作方面，SharpaWave 手拥有 22 个自由度。演示任务包括打结和封合自封袋；Franka Duo 则用平行夹爪完成紧密装箱等双臂任务。自由度增加带来更丰富的抓取姿态，也使数据采集和控制难度显著上升。22 个自由度并不代表模型每一时刻都独立搜索 22 个关节，实践中通常会利用动作分块、低维协同结构、模仿学习先验和底层约束缩小搜索空间。
ER 2：机器人为什么需要一颗“慢一些的大脑”
动作模型擅长短时执行，却不适合独自管理持续数分钟的流程。长任务包含数百次决策，只要单步成功率是 99%，连续 300 步全部正确的理论概率也只有约 4.9%。现实中的步骤还相互依赖，某次抓取偏移会改变后续画面，固定动作脚本很快失效。
Gemini Robotics ER 2 承担的是更低频、更长视野的决策。它持续观看视频，在执行当前动作的同时规划下一步，并根据新观测更新状态。开发者可以把“向目标位置导航”“抓取指定物体”“读取仪表”或某个 VLA 注册为工具，ER 2 决定调用顺序和参数。
一套典型闭环可以概括为五步：理解目标、拆分子任务、调用动作工具、验证结果、失败后重规划。关键环节是“验证”。数字代理调用 API 后通常能收到明确状态码，物理世界没有统一的 200 OK。袋子看似系紧却可能一提就散，杯中液体已经到沿口，灯泡旋转了几圈仍未接触到位。机器人必须从连续视频中推断进度与完成时刻。
DeepMind 将任务视频的每一帧划分到五个进度区间：0—20%、20—40%、40—60%、60—80%、80—100%。ER 2 的进度分类准确率为 57.4%。这个数字乍看不高，但随机猜五类只有 20%；更重要的是，它反映了当前模型对细粒度物理进度的能力边界。若把 60% 和 80% 误判，机器人可能提前切换步骤，或在已经完成后继续施力。
另一项“关键时刻识别”要求模型找出事件发生的准确视频帧，例如咖啡何时该停止倾倒。ER 2 达到 91.3% 的识别准确率，时间位置平均绝对误差为 0.96 秒，官方同时报告其执行速度达到对比大模型类别的 4 倍。对聊天系统而言，一秒误差影响有限；对持续倾倒、旋紧、切换抓取姿态等动作，一秒可能已经越过安全窗口。
这些数据也解释了为何 ER 2 接入 Gemini Live API 的双向流式端点。机器人需要一边行动一边接收新视频、更新判断，不能每完成一步都停下来上传整段录像，再等待一次完整推理。流式接口的意义在于缩短“观察—判断—调用—再观察”的闭环，而非单纯让回复文字出现得更快。
多机器人协作，核心是语义调度
一台机器人很难兼具所有形态优势。轮式平台移动效率高，双臂工作站精细操作稳定，人形机器人更适合楼梯、低矮货架和为人设计的工具。多机系统过去常依赖预先编排：机器人 A 到坐标点交货，机器人 B 在固定时刻接手。环境或节拍改变后，整条流程需要重新配置。
ER 2 引入共享语义层，让不同机器人根据自身能力和任务状态接受高层模型分配的子任务。官方演示中，Apollo 2 与 Franka FR3 Duo 协同完成单一机器人难以独立处理的流程。其关键在于识别不同机器人的物理优势并完成语义层面的任务交接。
实际部署通常还需要传统系统配合。语义模型可以决定“由移动人形机器人把容器送到固定双臂站”，轨迹冲突检测、位置与状态跟踪、区域锁、急停链路和确定性的互斥逻辑仍应由工业控制系统承担。大模型适合处理目标变化和非结构化信息，毫秒级硬实时协调需要可验证的控制机制。
本地模型：少于 200 个样本能适配新双臂机器人
云端推理能力强，但机器人控制对时延、带宽和可用性更敏感。Gemini Robotics On-Device 2 基于端侧 Gemma 技术，输入包括文字、机器人视角图像以及本体感知数值，直接输出数值化动作。模型卡称，它面向通用双臂操作，并在本地设备上高效运行。
此次发布中较有工程价值的数据，是新双臂硬件的适配效率：官方称 On-Device 2 通常使用少于 200 个示例、数小时数据，便能适配形状、传感器和自由度差异明显的新双臂平台。模型继承了上一代的 motion transfer 技术，先从多形态训练中学习可迁移的动作表示，再用少量目标机器人数据完成后训练。
在只于后训练阶段引入的新平台上，模型卡给出了随单任务平均数据小时数增加的曲线终点。SO101 平台上，第二代成功率达到 53.3%，第一代为 6.7%；Dexmate 平台上，第二代达到 75.6%，第一代为 33.3%。这些数字说明迁移效率明显改善，也要注意它们来自指定平台和任务集合，不能直接外推成所有机器人、所有任务的平均成功率。
模型卡还列出两项限制：端侧模型对分布外任务的泛化仍有限，对高自由度机器人的控制能力也有限；其安全评估主要覆盖站立式双臂操作，移动平台和全身控制风险不在当前评估范围内。由此可见，端侧版本解决的是部署与适配问题，并未自动解决人形机器人的全部控制难题。
安全：会停下来，和足够安全，是两种标准
机器人获得更强的语义理解和行动能力后，安全问题也从“电机有没有超过速度上限”扩展到“任务本身是否危险、指令是否含糊、模型是否知道自己不会”。DeepMind 随发布公开 ASIMOV-Agentic 基准和一份 18 页安全评估报告，覆盖危险任务拒绝、人员接近监测、安全工具调用、VLA 可行性判断、指令歧义与视觉不确定性。
其中一个测试要求模型根据双目图像判断最近人员距离，并在人员进入 1 米、2 米或 3 米安全半径时调用 robot_stop()。报告显示，参与比较的领先模型对人员距离的平均绝对误差约为 0.35—0.55 米，识别 1 米边界是否被突破的准确率约为 79%—93%。
实验还暴露出明显权衡：当误停率压到 5% 以下时，漏停率会超过 40%；若把漏停率降到约 10%—15%，机器人会有 15%—25% 的时间发生不必要停机。没有模型同时接近零误停和零漏停。实验室中的 Apollo 2 物体分拣测试表现更好：ER 2 的人员检测准确率为 99%，VLA 将机器人转入安全姿态的可靠性为 96%。实验室数据体现可行性，距离覆盖复杂工厂、家庭和公共空间仍需更大规模验证。
另一个值得关注的结果涉及“能力自知”。当 ER 2 没有获得 VLA 训练范围的详细描述时，对任务是否可执行的判断准确率只有 62.0%；随着开发者指令中加入更完整的能力说明，准确率最高升至 95.8%。这意味着上层模型能否安全调度下层动作模型，很大程度取决于能力边界是否被清楚表达。机器人系统需要类似 API 规格、能力清单和置信度接口的机器可读描述，不能只依赖模型根据任务名称猜测。
安全报告对自身边界也写得很明确：研究主要评估高层语义推理与调度，没有覆盖合规部署所需的功能安全架构、认证硬件、冗余机制和实时保证。ER 2模型卡还要求在生产、商业和公共环境中谨慎使用，并明确不应用于医疗、交通等安全关键工作。由 AI 判断应当停机，不等于安全链路一定会在规定时间内完成停机。工业部署仍需要急停、速度与间距监控、功率与力限制、硬件互锁及经过认证的安全控制器。
对产业意味着什么
Gemini Robotics 2 更适合被看作通用机器人软件栈的一次架构收敛。它把过去分散的几条路线接到一起：多模态模型提供场景理解，具身推理模型管理长任务，VLA 学习可泛化动作，端侧模型降低部署门槛，传统控制与功能安全承担实时和确定性约束。
这套架构可能首先影响三类场景。
一是仓储和制造中的柔性任务。产品、料箱和工位频繁变化时，靠自然语言配置任务、用少量示例适配新夹具，可以减少逐站编程成本。二是设备巡检与维护。ER 2 已将仪表读取扩展到数字显示、线性刻度、尺子和液体温度计等 10 类仪器；结合移动平台，可构成“导航—读取—判断—操作—复核”的闭环。三是人机共处环境中的移动操作，如整理房间、补货和院内物流。这类场景最需要全身移动，也最考验人员检测、错误恢复和不确定性处理。
商业化速度则取决于几个朴素指标：单任务成功率能否长期接近生产要求，节拍能否追上人工或专机，异常恢复是否会引入新的错误，数据采集成本能否摊薄，安全系统能否通过行业认证。演示中“会做”与生产线上“每天重复一万次”之间，隔着可靠性工程、维护体系和责任边界。
目前，Gemini Robotics ER 2 已通过 Gemini API 和 Google AI Studio 以公开预览形式向开发者提供，并进入 Gemini Enterprise Agent Platform 私有预览；Robotics 2仍处于私有预览、主要面向早期访问伙伴，On-Device 2则仅提供给部分受信测试者。开放范围的差异也反映出软件推理模型和物理动作模型的风险级别不同：前者可在仿真和视频上快速试验，后者一旦输出错误，会直接作用于现实硬件。
结语
Gemini Robotics 2 最值得关注的变化，是机器人智能的时间和空间尺度同时扩大：从固定工作台扩展到行走、弯腰、平衡和双手协同，从单个抓取扩展到持续数分钟、包含数百次决策的任务，再从单机扩展到不同形态机器人的语义协作。
官方数据呈现出一幅较为诚实的图景。91.3% 的关键时刻识别、少于 200 个样本的新机体适配、99% 的实验室人员检测，展示了系统进步；57.4% 的进度分类、端侧模型的分布外限制，以及人员安全监测中的误停与漏停权衡，也说明具身智能仍处在从研究能力走向工程可靠性的阶段。
下一阶段的竞争重点，可能会从炫目的单项动作转向三种系统能力：能否稳定理解自己正在做什么，能否判断任务究竟完成了没有，以及能否在必要时停下来向人求助。对走进现实世界的 AI 来说，这三项能力与灵巧的手、稳健的脚同样重要。
参考资料
- Google DeepMind：Gemini Robotics 2 brings whole body intelligence to robots，2026-07-30。
- Google：Introducing Gemini Robotics ER 2，2026-07-30。
- Google DeepMind：Gemini Robotics ER 2 Model Card，2026-07。
- Google DeepMind：Gemini Robotics On-Device 2 Model Card，2026-07-30。
- Google DeepMind：Gemini Robotics 模型与研究入口。
注：文中发布信息与评测数字来自 Google DeepMind 官方发布页、模型卡和安全技术材料。机器人评测高度依赖硬件、任务集合、数据量与实验设置，不宜跨场景直接横向换算。