Qwen-Robot 发布：打通大模型到物理世界的最后一公里
通义实验室 2026-06-16 14:14 浙江
给机器人装上“大脑、小脑与直觉”
在具身智能的探索中，我们常面临一个共同的困境：为什么大语言模型能写诗、能 coding，却很难让一台机器人稳稳地拿起一个杯子，或者在陌生的走廊里找到一家咖啡店？
因为物理世界是连续、复杂且充满不确定性的。Qwen-VL 等基础模型已为物理智能体奠定了强大的认知基础，但认知到行动的跨越仍是一道核心鸿沟。这本质上是一个对齐难题：语言指令与物理动作处于不同的表示空间，且具身数据（如导航轨迹、遥操抓取、行车记录）天然异构、采集成本极高。简单混合只会产生冲突，而非协同。
今天，我们正式推出 Qwen-Robot，通过模块化协同，用三个专业的基础模型来弥合从“看懂”到“行动”的鸿沟：
Qwen-RobotNav：物理智能体的行动入口
通过自适应的视觉分配策略和工具接口，把视觉语言能力接入移动控制，统一了指令跟随、点/目标导航、目标追踪和自动驾驶四类任务。
Qwen-RobotManip：物理智能体的交互基石
通过规范状态-动作空间和相机坐标系下的末端执行器增量位姿，把视觉语言能力接入操作控制，基于完全由开源数据构建的 >38,100 小时操作数据实现了大规模多机型训练。
Qwen-RobotWorld：物理智能体的无限世界
通过自然语言动作接口，把视觉语言能力接入世界动力学预测，让同一个世界模型能够跨操作、驾驶和导航场景预测符合物理规律的未来。
Qwen-RobotNav：物理智能体的行动入口
智能体要操作任何物体，首先得能到达目标位置。然而不同导航任务对历史信息的需求差异巨大——指令跟随需要保留长程上下文，目标追踪则几乎只关注最近几帧。任何固定的视觉分配策略都无法同时满足这两类需求。
Qwen-RobotNav 的核心思路是将视觉分配策略本身参数化：任务模式选择导航行为（指令跟随、目标搜索、目标追踪、自动驾驶），可调节参数（视觉 token 预算、时间衰减、单相机权重、帧采样模式）决定视觉历史的编码方式。模型在1560 万条样本上训练，同时联合视觉语言数据以保留感知能力，一套权重统一五类导航任务。
这套参数化接口也使 Qwen-RobotNav 天然适合作为智能体系统中的导航模块——上层规划器将长程目标分解为子任务，在执行过程中动态切换任务模式和上下文策略，通过反复调用同一模型来组合复杂行为。由此，整个系统具备了持久记忆与长程推理能力，可处理多步导航、环境取证和循证问答等复杂任务。
统一多域导航：单一模型、单组权重，在 5 个导航领域达到 SOTA — VLN-CE RxR 76.5% SR、HM3Dv2 目标搜索 75.6% SR（仅 RGB，超越所有深度方法）、EVT-Bench 90.0% 跟踪率、NAVSIM 91.4 PDMS，以及 3 个 EQA 基准新纪录 — 2B 到 8B 参数一致提升；
可控观测协议：四个控制轴（视觉词元预算、时间衰减、逐相机权重、帧采样模式）作为推理时参数暴露，训练时逐样本随机化，无需重新训练或修改 Qwen3-VL 架构即可适配任意配置；
智能体导航系统：作为双层系统中可重配置的导航原语，上层规划器（Qwen3.6-Plus）分解长时序目标并调度可配置的导航调用，配合双层记忆机制 — 在 EXPRESS-Bench 上提升 15.4%，导航步数减少 77%；
开放环境泛化：在 Unitree Go2 四足机器人上零样本部署，仅使用单个低分辨率相机，在开放真实环境与自由自然语言指令下展现出强大的泛化能力，无需任何环境特定微调。
Qwen-RobotNav 基准测试结果
真实部署
零样本部署在宇树 Go2 四足机器人（NVIDIA Jetson Thor，推理延迟 196ms），仅使用机器人自带的低分辨率摄像头。机器人在一套从未见过的公寓中，根据逐步的语言指令跨多个房间执行任务。
指令跟随
我们在一个从未见过的展览馆中评估往返导航任务：机器人首先根据语言指令从客厅导航 21.78 米至病房，随后接收反向指令，要求精确地沿原路返回。这一任务极具挑战性，因为模型需要在长距离中保持空间感知，在正向和反向两个方向上识别多样的视觉地标，并仅凭语言实现精准的双向位置控制。
Qwen-RobotManip：物理智能体的交互基石
物理智能体需要与真实世界交互，例如通过机械臂完成操作任务。然而，产线上的工业臂与厨房中的服务臂，执行的抓取动作视觉上可能非常相似，但关节配置和动作空间却截然不同。核心挑战在于让形态各异的机器人在表示层面实现兼容，使跨机器人、跨数据源的大规模训练产生协同效应而非相互冲突。
Qwen-RobotManip 以 Qwen3.5-4B VL 为骨干、结合流匹配 DiT 动作头，通过三种机制解决这一问题。统一的 80 维状态-动作表示在单臂、双臂、灵巧手和移动平台等本体间共享。相机坐标系下的末端执行器增量位姿动作，使视觉上相似的运动在不同机器人之间数值上也相近，从而屏蔽形态差异。上下文策略自适应将执行历史视为隐式的本体标识，实现推理时在线行为校准。
一旦表征体系统一，数据壁垒随之降低。我们利用开源的11,320小时的机器人数据、 开源的 1,933 小时 第一人称人类视频，以及 人-机迁移数据合成管线从人类视频合成的跨 15 个本体的24,808 小时 机器人数据（共计 >38,100 小时 ）训练VLA模型。仅依靠开源数据，模型即涌现出对扰动的鲁棒性、零样本指令跟随、自主错误恢复和跨本体迁移等泛化能力。
统一跨本体对齐框架-统一的 80 维状态：动作表示兼容多样化本体，相机坐标系末端执行器增量位姿使视觉相似运动数值相近，上下文策略自适应将执行历史作为隐式本体标识——三者共同实现跨本体一致信号提取。
大规模人-机迁移数据合成：管线将 1,933 小时第一人称人类视频，经由动作重定向、手部去除与补绘、仿真渲染及深度辅助融合，转化为跨 15 个本体的 24,808 小时机器人演示，配合多阶段数据策划管线确保数据质量。
分布外泛化： LIBERO-Plus 91.4%（超越 π0.5 +7.0），RoboTwin-C2R Hard 69.4%（超越 π0.5 +21.5），RoboCasa365 Composite-Unseen 14.9%（第二名的 3 倍），EBench 45.6%（超越第二名 +18.5）；RoboTwin-IF 72.0%（超越 π0.5 +22.4），证实了可靠的语言条件控制能力；RoboTwin-XE 零样本跨本体迁移性能达到先前最优的 3 倍。
真实环境表现： RoboChallenge Table30 v1 通用赛道以 45% SR 排名第一，领先亚军 20%；在真实机器人平台上的域内与域外任务、少样本适应及跨本体技能迁移中达到先前最优的 2 倍。
“
关键发现：对齐是规模化的前提。只有具备统一跨本体表示的模型（UnifiedSpace + UnifiedEEF）才能展现出稳定的对数线性数据规模化曲线。没有对齐，增加更多数据只会产生抖动或持平的曲线——规模化无法弥补未对齐表征框架的固有缺陷。
”
跨本体迁移
在其他本体上训练的任务可零样本迁移至新本体执行，并通过少量示教快速适应全新任务。
指令跟随
在真实环境（第一排）和仿真（第二排）中执行多样化的未见指令。
Qwen-RobotWorld：物理智能体的无限世界
真实世界的经验是机器人领域最稀缺的资源。
Qwen-RobotWorld 通过直接学习世界的状态转移函数来解决这一问题：给定当前观测和一个自然语言动作，预测世界接下来将呈现的样子。
关键的设计选择是将所有动作以自然语言表达——这将末端执行器位姿、转向指令和导航路标点统一为单一接口，使 20 余种本体类型和 500 余个动作类别得以在具身世界知识语料库（860 万视频-文本对，逾 2 亿帧）下协同训练。
60 层双流 MMDiT 将 Qwen2.5-VL 的语义表示与视频隐变量深度耦合。将完整的多模态大语言模型作为动作编码器——而非轻量级文本编码器是关键所在：
它带来了内化的世界知识：手臂是刚体、液体会扩散、物体会下落，从而隐式地将生成约束为物理上可信的未来。
每个领域相互强化：操作教会接触物理，驾驶教会大尺度三维几何，导航教会房间级别的空间推理。
语言驱动的统一动作接口 ：自然语言将 20 余种机器人本体和 500 余个动作类别标准化为统一的训练接口，使操作、驾驶、导航和人机迁移得以联合训练；每个领域互相强化。
双流 MMDiT + Qwen2.5-VL 动作编码器：以完整的多模态大语言模型（而非轻量级文本编码器）作为动作编码器，将复杂的组合指令解析为精确的生成信号，并内化物理世界知识，可作为合成数据引擎、闭环策略评估器和动作规划器。
榜单排名： EWMBench 总分第一（运动保真度超越亚军 33%）及 DreamGen Bench 第一；开源模型中 WorldModelBench 第一（牛顿定律、质量守恒、流体动力学等物理规律遵循完美）及 PBBench 第一。
核心能力： 细粒度语言控制（改变单个关键词即产生不同的未来）；跨 8 种以上本体的人机迁移，具备多视角一致生成；在 RoboTwin-IF 上的零样本鲁棒性。
任意指令跟随
改变单个关键词，物体、目标或动作动词，即可产生相应不同的未来。世界模型真正理解语言，而非仅仅进行模式匹配。
人机迁移
给定人类演示，Qwen-RobotWorld 能够跨多种本体生成真实的机器人执行效果——无需遥操作。
从模型到智能体：形成闭环
三个模型各自独立可用——但由于它们都提供语言优先的接口，通用 Qwen 模型可以将它们作为物理世界工具进行组合，将通用智能直接连接到物理行动。我们还有一个内部项目Qwen-RobotClaw——一个机器人智能体框架，使 Qwen VLM 智能体能够将 Qwen-Robot Suite 模型作为物理世界工具调用，同时妥善管理长程任务所需的上下文与记忆，推动物理智能走向更通用、更复杂的真实应用场景。以下是目前已实现的早期示例。
开放式任务执行
Qwen-Omni 观察场景，通过语音随机提出操作任务，并对执行结果进行实时评判。每段视频展示了 Qwen-RobotManip 即时完成任务的过程，无需预定义的任务列表——这证明了通用多模态模型完全可以充当任务提出者与评估者的角色，而套件模型则负责物理执行。
智能体导航与具身问答
通过工具调用，将智能体系统与Qwen-RobotNav结合起来，我们在长程 3D 物理世界探索任务上相较于先前最优取得了显著提升，包括 HM-EQA、MT-HM3D 和 EXPRESS-Bench 等具身问答基准。同时，这种开放世界探索能力也已经可以部署到真实环境中。
第一个 demo 中，用户要求智能体在真实建筑中找到一个可用的卫生间。智能体首先扫描周围环境，沿走廊线索寻找卫生间标识；发现第一个卫生间旁贴有清晰的 "Cleaning in Progress / 暂停使用" 标牌后，判断该卫生间不可用，随即重新规划路线前往建筑另一侧寻找替代选项。在通过视觉证据确认第二个卫生间开放且可进入后，智能体返回了一个有实证支撑的答案。
第二个 demo 则是我们此前随 Qwen3.7-Max 一并发布的一镜到底演示：智能体通过调用 Robot-Nav，在开放园区环境中进行自主探索，在过程中修正偏差，并最终找回丢失的雨伞。后续我们将发布更多技术细节。
Chat2Robot
我们提供了一个实验性功能——Chat2Robot——您可以直接在浏览器中与机器人对话。只需输入自然语言指令，即可观察机器人的实时响应。欢迎体验！
注意： Chat2Robot 目前仅支持 Qwen-RobotManip。当前部署的策略仅使用 RoboTwin-Clean 数据集进行训练，该数据集仅包含 50 个任务，因此它并非一个完美的策略。我们希望借此展示模型一定程度的零样本指令跟随能力。该功能仍在持续开发中，可能尚不完善——欢迎反馈与建议！
具身智能还在起步阶段，离真正的“通用机器人”还有很长的路要走。但方向已经清晰：用更强的多模态理解去桥接物理行动，用更大的数据规模去换取泛化能力。QwenRobot 只是第一步，我们期待与开发者一起，让 AI 真正走进物理世界。
推荐阅读
端侧 AI 提速 80%？如何让 Qwen3-VL 在手机起飞
查看更多demo，点击阅读原文