ECCV 2026 | 浙大&阿里达摩院等提出Lumos-Nexus：频域桥接破解视频统一模型训练痛点，84.12分刷新VBench

原创 CV君 2026-09-21 23:57 江苏

视频模型推理频域巧桥接

“理解与生成统一”已成为多模态大模型演进的核心趋势：让视觉语言大模型（VLM）充当“认知大脑”，先深入推演物理时空因果，再指挥下游扩散模型精准生成连贯画面。

然而在视频领域，这一范式常陷入“鱼与熊掌不可兼得”的死局：长时序建模算力消耗巨大，若将百亿参数的高清大模型（如 Wan2.1-14B）纳入统一微调，显存与算力开销令人望而却步；若妥协选用 1.3B 级别的轻量小模型，即便“大脑”规划再精准，受限于生成器容量，最终视频画质粗糙、动作协同频频崩坏。

面对这一痛点，来自浙江大学、阿里巴巴达摩院、湖畔实验室等机构的研究团队上演了一出“四两拨千斤”的绝技，提出全新框架 Lumos-Nexus。该方案仅用 1.3B 轻量生成器参与微调（单卡显存仅需 26.3GB），推理阶段则利用同构隐空间的频域桥接机制，将多模态推理能力无缝“过继”给未经微调的 14B 高清大底座。

最终，Lumos-Nexus 以 84.12 分刷新通用视频基准 VBench，在全新推理基准 VR-Bench 上斩获最高 81.90 分的亮眼战绩，完美兼顾了物理推理深度、顶尖视效画质与极低训练成本。

Lumos-Nexus 在能量传递（ETV）测试中的生成效果：石头掉入池塘中，激起不断向外扩散的涟漪。

Lumos-Nexus 在文化常识（CCR）测试中的生成效果：一场伴有传统音乐、海娜人体彩绘和群体舞蹈的阿拉伯婚礼。

Lumos-Nexus 在生物行为推理（BBR）测试中的生成效果：企鹅在冰面上俯冲滑行后平缓减速并起身，展现出符合生物力学与重力环境的连贯动作。

在多模态视频统一模型中，主流架构可分为两大派系：

基于连接器的范式虽然无需全量端到端联合优化理解大模型与生成大模型，但在实践中，条件信号的有效注入仍需要生成器参与微调。形式化地，文本输入  首先经过参数为  的理解模块  提取世界知识表征，再由连接器  转换为条件向量 ，最终驱动生成器  预测视频：

视频扩散生成器参数一旦扩展到 14B 量级，即使是参数高效微调，长时序潜变量带来的显存暴涨与迭代耗时也会让训练成本变得极高。为了回避全量微调，多数视频统一模型妥协选择 1B 左右的轻量扩散骨干。这就导致了显著的“短板效应”：理解端推演出的物理因果和宏观规划极其到位，下游生成器却因表达力不足而无法渲染出细腻纹理，甚至在动作协调性上频现瑕疵。

研发团队敏锐地捕捉到了一个关键几何特性：在连接器统一模型的微调过程中，扩散模型主干的 VAE 隐空间（Latent Space）并没有被破坏或改变。 这意味着，若存在一个与轻量小生成器共享相同 VAE 隐空间的大生成器（即同构隐空间，Homogeneous Latent Space），小生成器在训练期学到的语义操控与因果布局先验，完全有可能在推理阶段作为“语义引路人”，引导大生成器完成高画质渲染。

基于上述洞察，Lumos-Nexus 提出了如图 2 所示的训练-推理解耦两阶段设计：

在扩散模型的流匹配（Flow Matching）采样中，若只是机械地将大小两个生成器的速度预测加权平均（Direct Add），会因为高低频分布不均与网络架构差异，诱发严重的重影甚至语义坍缩（如一只鸟被画成两只或长出两个头）。UPFB 通过四重步骤化解了这一矛盾：

去噪早期的采样步骤决定了画面的全局空间构图与核心主体轮廓，晚期则侧重于局部细节和高频纹理的补充。算法引入余弦衰减的时序权重 ：

其中  为总去噪步数， 用于控制交接的锐度。在去噪前期，，小模型掌控主导权，将多模态逻辑先验深深刻入初始轨迹；随着步数递进， 逐渐降至 0，平稳让渡给大生成器进行超精细刻画。

为了在速度场（Velocity Field）上实现物理级解耦，UPFB 设计了动态高斯滤波核 ，在潜变量速度空间中剥离低频与高频分量：

其高斯滤波核带宽随着时序权重同步衰减：。在早步采样阶段，较大的滤波带宽强力抹平小生成器由于参数量不足而产生的噪点纹理；后步阶段带宽减小，大模型的真实细节得以充分释放。

大小模型各取所长：小模型提供精准的宏观结构，大模型输出纯净的高频微观纹理。融合过程表示为：

其中  是高频抑制系数，有效遏制了小生成器高频噪波的干扰。

不同容量生成器预测出的速度向量在模长（Magnitude）上存在固有尺度差，直接拼接会引起采样轨迹突变。UPFB 在融合前利用 RMS 对大模型速度进行幅度校准，在频域合成后再对总速度向量进行能量重平衡：

该操作消除了过曝和数值震荡，确保了连续去噪过程的动力学稳定性。

现存的视频评测体系（如 VBench）侧重感知质量、美学表现和基本文本匹配，难以衡量模型在面对复杂指令时的“深层世界理解”与“推理规划”能力。为此，论文同步推出了 VR-Bench（Video Reasoning Benchmark）。

VR-Bench 包含 216 个测试 Case，系统构建了涵盖三大宏观分类的 8 项评测维度：

VR-Bench 采用了三层式提问架构（基础感知  关联推理  因果语义），并通过强大的视觉语言大模型（如 Qwen3-VL-30B 或 GPT-5.2）进行自动化打分评估，其排名结果与人类专家评测的 Kendall's  相关系数高达 0.73，验证了其可靠度。

为全面验证 Lumos-Nexus 的有效性，研究团队以 Omni-Video（内部集成微调过的 Wan2.1-1.3B）作为小生成器基础，以预训练的 Wan2.1-14B 作为大生成器展开测试。

如 Table 1 所示，在涵盖传统文生视频模型与前沿统一模型的对比中，Lumos-Nexus 斩获了 84.12 的全场最高总分（Total）。特别是在语义一致性（Semantic）上从 Omni-Video 的 79.10 显著攀升至 80.52，不仅远超原生 Wan2.1-14B 的 76.11，还在时间闪烁（99.70）、物体类别（96.20）、颜色绑定（91.46）和空间关系（76.15）等维度全面位列榜首。这证明 UPFB 成功将小生成器吸收的语义逻辑完整传递并放大于 14B 生成器中。

如 Table 2 所示，在 VR-Bench 推理评测中：

从 Figure 4 的定性视觉对比可以清晰看出：当要求拍摄“骑车者拍摄后方运动场景时建筑物后退”的动态参考系效果时，普通生成模型常混淆相对运动方向；Omni-Video 理解了相对运动但画质模糊；而 Lumos-Nexus 既准确呈现了建筑物向后退行的物理视差，又保持了高品质的细节呈现。

一个自然的疑问是：Lumos-Nexus 的提升究竟来源于大模型更庞大的参数容量，还是归功于 UPFB 桥接算法本身？

研究团队进行了一组极具说服力的对照实验（Table 9）：

研发团队深入探讨了该方法的适用前提——同构隐空间。通过最大均值差异（Maximum Mean Discrepancy, MMD）测量，Wan2.1-1.3B 与同系列的 Wan2.1-14B、Wan2.2-A14B 的隐空间 MMD 极低（0.523 和 0.531），具备天然的相容性。

而一旦强行替换为非同构的生成器（如 HunyuanVideo，MMD 为 1.031），由于两者的潜变量分布存在几何扭曲，去噪过程将彻底崩溃，生成严重模糊重叠的坏例。这为后续跟进的从业者指明了边界：只要遵循相同 VAE 体系的模型族（如主流模型推出的各个 Scale 版本），Lumos-Nexus 便能无缝生效。

在多模态视频统一模型的研发演进中，人们往往受困于“小模型性能不够、大模型训不起”的算力窘境。Lumos-Nexus 跳出了“非此即彼”的传统思维，利用“同构隐空间在微调中保持守恒”这一关键先验，创造性地通过 UPFB 频域桥接机制实现了“小模型低成本学推理，大模型零训练出画质”。

对多模态模型落地具有很强启发性的是：未来在探索更大规模的世界模型与智能体生成交互时，未必需要将海量参数全部推入高昂的端到端对齐闭环中；借助频域与时序的物理学分解，将认知决策与细节渲染合理分流解耦，或许是一条更加经济、灵活且可扩展的研发路径。

跳转微信打开