Qwen-AgentWorld 开源：让 Agent 学会“先预测，再行动”
通义实验室 2026-06-24 11:32 浙江
Agent 开发太难？试试让 AI 自己“预测环境”
Agent 开发离不开真实环境，但真实环境：成本贵、响应慢、控制难。
搭沙箱环境成本高、真实的边缘 Case 难收集。而在真实环境里做强化学习，一旦 Agent 执行了不可逆的“危险操作”，整个环境就崩溃了。
所以我们换了个思路：与其在真实环境里试错，不如先让 AI 学会“预测环境会发生什么”。
这就是 Qwen-AgentWorld —— 首个原生语言世界模型。
🔥 核心亮点速览
原生世界建模：环境建模从继续预训练（CPT）阶段起即为训练目标，贯穿 CPT → SFT → RL 全流程，而非对通用大语言模型的事后适配。
七大领域，一个模型：单一模型同时覆盖文本类环境（MCP、Search、Terminal、SWE）与 GUI 类环境（Web、OS、Android），实现跨领域知识迁移。
我们想解决什么问题？
语言智能体被训练在交互式环境中执行动作，但此前从未有语言模型被显式训练来对环境本身进行建模——即在给定当前状态与智能体动作的条件下，预测环境的下一步响应。
Qwen-AgentWorld 的核心探索是：语言世界模型能否拓展通用智能体的能力边界？
为此，我们从两个方向推进：
构建基础模型
Qwen-AgentWorld 是首个覆盖七大领域的语言世界模型，基于超 1000 万条真实交互轨迹，经由 CPT → SFT → RL 三阶段训练而成。在 AgentWorldBench 上超越 GPT-5.4、Claude Opus 4.8 与 Gemini 3.1 Pro。
验证两种应用范式
作为解耦的环境模拟器，可控 Sim RL 能以真实环境无法实现的方式塑造智能体行为，效果优于真实环境 RL；作为统一的智能体基础模型，LWM 预热训练可迁移至七个基准（其中三个完全未出现在训练集中），无需额外 RL 微调即有显著增益。
由 Qwen-AgentWorld 模拟的 SWE 场景示例。更多例子可以查看 https://qwen.ai/blog?id=qwen-agentworld#interactive-demo-interactive-demo
Part I: 构建智能体环境模拟的基础模型
七个领域，一个模型
Qwen-AgentWorld 覆盖七类交互式环境。对于三个 GUI 领域，环境观测以可渲染代码（无障碍树 XML、HTML、UI 层级标记）而非像素帧的形式呈现，使得纯文本世界建模即可涵盖视觉环境。
训练流程
Qwen-AgentWorld 自继续预训练阶段起，便将环境建模作为显式目标进行端到端训练。三阶段流水线遵循一个核心原则：CPT 注入，SFT 激活，RL 精炼。
三阶段训练流程：CPT（继续预训练）注入环境知识，SFT（监督微调）激活带思维链的下一状态预测，RL（强化学习）提升模拟的真实性
阶段一：继续预训练（CPT）
通过学习不含思维链的交互轨迹，向模型注入环境知识。数据来源涵盖专用智能体基础设施（容器化执行沙箱、MCP 服务器、Android/Web/OS 模拟器）、开源环境交互轨迹以及内部智能体轨迹。
除环境数据外，我们还引入了覆盖工业控制、网络安全、法律、医学、金融和时事等领域的专业知识语料。
本阶段的一项关键贡献是轮次级别的信息论损失掩码：通过 4 个表层统计量识别每个（动作, 观测）对中真正承载环境信息的对话轮，对其余轮施加掩码，使其不参与 loss 计算，但仍保留为上下文输入。
阶段二：监督微调（SFT）
通过 <think>...</think> 包裹的思考过程，将下一状态预测激活为显式的思维链推理模式。我们采用拒绝采样（rejection sampling）筛选高质量思维链轨迹，最终获得 7,094 条训练样本。
阶段三：强化学习（RL）
以混合奖励信号精炼输出质量。我们基于 GSPO 算法进行 RL 训练，奖励信号由两部分组成：评估多维质量的基于评分准则的 LLM 评判器（rubric-based LLM judge），以及针对可客观验证正确性的基于规则的验证器（rule-based verifier）。
AgentWorldBench
为系统评估语言世界模型，我们推出AgentWorldBench一个综合性评测基准。
AgentWorldBench 概览：领域分布、来源基准、评估维度及各领域轨迹统计。
该基准基于 5 个前沿模型在 9 个成熟评测集（如 Tool Decathlon、Terminal-Bench 1.0 & 2.0、OSWorld-Verified 等）上的真实环境交互观测构建而成。每条评测样本均配备真实环境执行所得的 ground-truth 观测，支持基于参考的精确评分。
AgentWorldBench 采用开放式评分准则（rubric），从格式、事实性、一致性、真实性和质量五个维度全面评估世界建模能力，深入考察模型的推理能力、领域知识以及长上下文处理水平。
性能表现
AgentWorldBench 评测结果：各领域五维评分准则均值。Qwen-AgentWorld-397B-A17B 取得最高整体得分（58.71），超越 GPT-5.4（58.25）及其他前沿模型。
Qwen-AgentWorld-397B-A17B 在 AgentWorldBench 上取得最高的整体均分（58.71），超越 GPT-5.4（58.25）及所有其他前沿模型。优势在 Terminal 和 SWE 两个领域最为显著，这两个领域的预测需要准确建模代码执行状态和工具 API 行为。
在 35B-A3B 规模上，三阶段训练流水线将整体均分提升了 +8.66（47.73 → 56.39），使 Qwen-AgentWorld-35B-A3B 超过 Claude Sonnet 4.6（56.04）。这一提升在文本类和 GUI 类领域上均保持一致。
Part II：探索世界建模在智能体训练中的作用
我们通过两个互补范式探索世界建模如何增强通用智能体。
范式一：解耦的环境模拟器
将策略智能体与世界模型解耦为两个独立模型，Qwen-AgentWorld 作为环境模拟器在智能体强化学习训练期间替代真实环境：智能体执行动作，世界模型预测下一步观测，智能体则从这些模拟轨迹中学习。
核心发现如下：
零样本环境泛化。Qwen-AgentWorld 成功模拟了训练数据中完全不存在的 4,000 个 OpenClaw 环境，在 Claw-Eval 和 QwenClawBench 上分别取得 +4.3 和 +7.1 的 Sim RL 增益，且无需任何领域适配。
可控模拟至关重要。不施加控制的 Sim RL 几乎无法带来提升；而可控扰动则将 MCPMark 提升 +12.3、WideSearch 提升 +16.3。
超越真实环境训练。通过对抗性摘要设计塑造出更具针对性的智能体行为，可控 Sim RL 在 WideSearch 上超越了使用真实搜索引擎训练的 Real RL（F1：50.3% vs. 45.6%）。
虚构世界同样有效。在完全虚构但自洽的世界中训练的智能体，能够成功泛化至真实搜索任务，同时有效防止智能体将模拟事实与真实世界知识相混淆。
初始状态是关键瓶颈。Sim RL 的有效性取决于一个前提：必须为世界模型提供足够详尽的初始状态描述。如果初始状态信息不完整，后续模拟会逐步偏离现实，最终削弱智能体从模拟训练中获得的收益。
可泛化的环境扩展
我们验证世界模型能否泛化到训练中完全不存在的环境。
OpenClaw是一个开源智能体平台，其任务涵盖日程管理、编程、邮件分类、浏览器自动化和文件管理——完全不在 Qwen-AgentWorld 的训练分布内。
我们模拟了 4,000 个 OpenClaw 环境用于智能体 RL 训练，无需任何领域适配，并消融了模拟器本身的影响：使用 Qwen3.6-Plus 作为模拟器几乎没有提升，而 Qwen-AgentWorld-397B-A17B 带来了显著增益——确认世界模型质量是 Sim RL 的瓶颈。智能体无法从与不忠实的模拟器的交互中有效学习。
可控模拟
Qwen-AgentWorld 的核心优势在于其可控性：训练过程中，可通过自然语言指令精确调控模拟器的行为。我们验证了以下两种模式。
MCP：环境自适应。 我们从真实的 MCP 工具调用轨迹中合成模拟系统提示词：每条提示词明确指定工具 Schema 与服务器配置，概括隐藏的环境状态（如数据库内容、权限设置、服务可用性），并定义可控的模拟指令，以调控模拟器在每一轮交互中的响应行为。
控制指令通过注入定向扰动——间歇性 API 错误、需要后续调用的分页响应、迫使多步检索的不完整中间结果，以及批量操作中的部分失败——系统性地暴露智能体在真实部署中极少遭遇的薄弱环节。
实验结果呈现出鲜明对比：不含控制指令的标准 Sim RL 未带来任何实质性提升（Tool Decathlon 甚至从 32.4 下降至 31.5），原因在于模拟器缺乏充分的依据来生成忠实可靠的响应。而引入可控模拟后，Tool Decathlon 提升了 +3.7，MCPMark 提升了 +12.3。可控性不仅影响提升幅度，更是 Sim RL 在该领域得以奏效的先决条件。MCPMark 上更大的增益（+12.3 vs. +3.7）进一步表明，可控模拟在需要大量顺序工具调用及精细处理中间结果的任务中尤为有效。
Search：虚构世界构建。我们构建了 1,000 个自包含的虚构环境，每个环境都以一个关系型数据库为核心，其中包含 300–500 条内部自洽的虚构事实。例如，一个"虚拟环境"可能包含 2029 年的智能手机市场排名——品牌名称是真实的，但型号是虚构的。这种设计有两层用意：首先，正确答案只存在于虚构环境中，智能体无法靠自身记忆绕过搜索工具直接作答；其次，所有事实都是虚构的，智能体不会把模拟中学到的内容与真实世界知识搞混。
Sim RL vs. Real RL
在 WideSearch 任务上的 Sim RL 与 Real RL 对比：可控的 Sim RL 能够追平甚至略微超越使用真实搜索引擎训练的 Real RL。
🟣性能 我们在 WideSearch 上直接对比可控 Sim RL 与 Real RL（使用真实搜索引擎训练）。Sim RL 全程追平或略超 Real RL：F1 by Item 在第 60 步达到 50.3%，Real RL 为 45.6%。
工具使用分化：经 Sim RL 训练的智能体增加了 `web_extractor` 的调用次数，而经 Real RL 训练的智能体则减少了该调用——这反映出可控模拟能够塑造出截然不同的智能体行为模式。
🟣行为更具信息量的信号来自智能体行为。两种训练模式都将 web_search 调用从约 5 次减少到约 3.5 次，但 web_extractor 调用出现了明显分化：Sim RL 将使用量从 2.5 增加到 4.0，而 Real RL 从 2.5 降低到 1.5。由于模拟搜索摘要刻意省略详细内容，Sim RL 训练的智能体学会了提取完整页面是组装完整答案的必要步骤。可控模拟以真实环境无法实现的方式定向塑造智能体行为。
范式二：智能体基础模型
在范式一中，智能体和世界模型是不同的模型。在这里我们将它们统一：同一个模型既选择动作也预测环境状态。LWM 训练将下一状态预测植入为一种内化的推理能力。核心发现：
突破性的跨任务泛化
单轮、非智能体的 LWM RL 预热（无工具调用）迁移到了跨 5 个领域 7 个基准的多轮、工具调用智能体任务。
领域泛化
在 LWM 训练完全不涉及的领域上涌现增益（Claw-Eval +11.3、QwenClawBench +9.7、BFCL v4 +9.0），证实这是可迁移的能力而非领域特定的捷径。
下一状态预测作为元推理模式
LWM 训练教会智能体在行动前模拟环境响应，这种模式在不同任务格式和领域中均可泛化。
我们在 Qwen3.5-35B-A3B-SFT 上运行 LWM RL —— 一个无工具调用的单轮任务。然后直接在跨 7 个基准的多轮工具调用智能体任务上评测，无需额外微调，其中 3 个基准完全不在 LWM 训练范围内。
域外泛化结果尤为亮眼：LWM 的训练数据中未包含任何 Claw 或 function-calling 相关数据，却在这两个完全未涉足的领域上分别涌现出 +11.3、+9.7 和 +9.0 的显著提升。
使用 Qwen-AgentWorld
目前 Qwen-AgentWorld 与评测基准AgentWorldBench 均已开源，欢迎下载体验：
更多完整内容可参考：
Technical Report: http://arxiv.org/abs/2606.24597
推荐阅读
统一科学大模型 LOGOS 正式开源
Qwen-Robot 发布：打通大模型到物理世界的最后一公里