前沿雷达|Forward Dynamics Models:未来预测读取动作特征、动作不读未来,推理时跳过未来生成

预印本 FDM 让未来预测只读取动作特征,动作路径不读未来:训练时真实未来状态监督策略,推理时跳过未来生成。作者报告 LIBERO 平均 99.4%,真机五项任务平均 96%(π0.5 为 83%)。

三栏并列的对比图,每栏有一个不带排序含义的圆形标记,圆下有一条横线,下面是一段文字;上下各有一条贯穿全图的细线;没有箭头:VLA 只从当前观测和指令出动作,没有未来状态信号;未来条件式 WAM 的动作读取预测的未来,推理时也要生成未来;FDM 的未来预测读取动作特征,推理时只出动作、跳过未来。
动作预测与未来预测的三种依赖方向。依据 arXiv 2610.13117 图 1 与表 1(作者报告)绘制;三栏是并列的方案,顺序、圆形标记和颜色不表示排名或测量值。

复旦大学数据科学学院等机构作者的预印本 Forward Dynamics Models(FDM,arXiv 2610.13117,2026-10-09)讨论的是机器人动作模型里一个设计选择:动作预测和未来状态预测之间,谁读谁。VLA 直接从当前观测和指令输出动作,训练时没有“接下来会发生什么”的监督;常见的未来条件式世界动作模型(WAM)先预测未来再推动作,推理时必须生成未来,未来预测的误差也会传进动作。FDM 把方向反过来:训练时让未来预测分支读取动作特征,未来损失经这些特征反传给策略;动作路径看不到任何未来信息,所以推理时可以完全跳过未来生成。作者报告 LIBERO 平均成功率 99.4%,在双臂 ARX-X5 机器人的五项真机任务上平均 96%(π0.5 为 83%)。以下数字均为作者报告 [R],本站未复现。

三种依赖方向

论文表 1 用同一套记号比较三类模型:C = (O_t, L) 是当前观测与任务指令,A 是动作块,V 是未来世界状态的目标。

模型族训练推理
VLAp(A | C)p(A | C)
未来条件式 WAMp(V | C) · p(A | C, V)p(V | C) · p(A | C, V)
FDMp(A | C) · p(V | C, A)p(A | C)

作者强调,这个分解只是对依赖关系的概念表述,真正起作用的是表示层的连接:未来预测分支读取的是动作专家的隐状态 H_a,不是最终输出的数值动作。未来损失对 H_a 求梯度,再传回产生 H_a 的动作专家参数,于是真实的未来状态在训练中监督了“用来生成动作的内部特征”。

实现上,两个实例都用混合 Transformer(MoT)把几个专家逐层用注意力连起来,并用非对称的注意力掩码规定谁能看谁:上下文只看上下文;动作看上下文和动作;未来生成可以看全部三组。论文还特别说明,这个限制也适用于间接路径:动作专家能读到的上下文特征,本身也不能依赖生成分支的 token。

两个实例:在 VLM 和视频生成模型上各做一个

FDM w/ VLM。 在 π0.5 上加一个随机初始化的生成专家,结构与动作专家相同。生成专家读取当前帧之前第 15 帧(按记录帧计)和当前帧的 Wan VAE 潜变量,加上上下文与动作特征,对每个相机视角直接回归当前帧之后第 15 帧图像的潜变量,用 MSE 损失,一次前向,不做视觉去噪循环。上下文专家只处理当前图像和指令,所以历史帧只服务于训练时的未来预测,部署时不需要。部署时生成专家和它的 VAE 处理都可以拿掉。

FDM w/ VGM。 在视频生成模型 Wan2.2-5B 上加一个随机初始化的动作专家。视频主干同时承担上下文处理和未来生成:当前帧潜变量保持干净,未来视频潜变量用 flow matching 加噪训练,损失只算在未来潜变量上。同一个生成专家里,当前观测 token 和未来视频 token 的注意力权限不同,动作专家只能读前者。部署时保留当前观测的处理,并在每层缓存其 key/value,每一步动作去噪只更新动作流,不分配未来视频 token。

两个实例的总损失都是动作 flow matching 损失加未来损失,权重 λ_a = λ_v = 1。训练用 8 块 NVIDIA H100,推理在 1 块 H100 上进行。两个 FDM 都没有做机器人策略预训练,而表中对比的 π0、π0.5、Motus、LingBot-VA 都做过。

结果:仿真两个基准和五项真机任务

基准方法平均成功率(%)同组对比
LIBERO(4 个套件)FDM w/ VLM99.4π0 94.1,π0.5 96.9
LIBERO(4 个套件)FDM w/ VGM98.1Motus 97.7,LingBot-VA 98.5
RoboTwin 2.0(50 个任务)FDM w/ VLM81.20π0 62.16,π0.5 79.75
RoboTwin 2.0(50 个任务)FDM w/ VGM89.23Motus 87.8,LingBot-VA 92.20

摘要里的“state-of-the-art 99.4%”来自 VLM 一组。分开看还有几处 FDM 并非最好:VGM 一组在 LIBERO 平均和 RoboTwin 平均上都低于 LingBot-VA,LIBERO-Long 上 FDM w/ VGM 为 94.2%,低于 Motus 的 97.6% 和 LingBot-VA 的 98.5%;RoboTwin 的 Clean 条件下 FDM w/ VLM 为 81.54%,低于 π0.5 的 82.74%,它的优势来自随机化条件(80.86% 对 76.76%)。

真机实验用双臂 ARX-X5 做五项任务:装抽屉、装箱并合盖、插两只羽毛球、叠杯、叠积木,每种方法每项任务 20 次。FDM w/ VLM 平均 96%,π0.5 为 83%;FDM w/ VGM 平均 83%,FastWAM-Joint 为 78%,DreamZero 为 71%。本站的解读是:摘要中“真机绝对提升最多 13%”与 96% 对 83% 这一组的 13 个百分点一致,论文没有写明这一对应关系。这里的 FastWAM-Joint 是作者自己实现的未来条件式 WAM,与 FDM w/ VGM 结构相同,只把跨专家注意力的方向反过来;它是一个干净的对照,但不是其他论文发布的原版模型。

消融:反传这条路径到底值多少

作者在五项真机任务上比较四种变体,用相同的训练种子,且都只做动作推理:

变体未来监督未来分支读 H_a未来损失经 H_a 反传VLM 平均(%)VGM 平均(%)
A. 只学动作否否否8366
B. 只基于上下文的未来预测是否否8772
C. stop-gradient是是否8978
D. 完整 FDM是是是9683

C 和 D 的前向计算完全相同,区别只在训练时梯度是否经过动作特征接口,因此 D 比 C 高出的 7 和 5 个百分点,是作者用来说明“反传监督”本身价值的证据。B 比 A 高 4 和 6 个百分点,说明单纯加未来预测的视觉共训练已有帮助;D 比 B 再高 9 和 11 个百分点,这部分混合了前向读取和反向监督两者的作用。作者另外报告,经动作接口传回的未来梯度与动作模仿梯度的余弦相似度大多为正。

误差传播和计算代价

作者在 FastWAM-Joint 的联合去噪中途向未来视频潜变量注入一次高斯噪声,观测和加噪动作块不变。扰动强度 α = 1.0 时,动作误差在 LIBERO 上增加 4.44%,RoboTwin 上增加 5.52%,五项真机任务上增加 0.22%(Box)到 1.17%(Cup);小扰动在 LIBERO 和 Box 上反而让误差略降。作者没有报告对 FDM 的这项测量:动作路径从不读取生成的未来,所以在参数、输入和采样随机性固定时,扰动未来不会改变动作。图中 FDM 的零线是结构上的不变性,不是测量值。

方法训练步时(s)峰值显存(GiB/GPU)推理延迟(ms/动作块)
π0.50.443667.08203.77
FDM w/ VLM0.6305(+42.14%)72.04202.98
FastWAM-Joint0.975466.80446.55
FDM w/ VGM0.9729(−0.26%)66.80253.45(1.76 倍加速)

两条路线的代价落在不同地方:VLM 版推理延迟与 π0.5 持平,但训练每步慢 42.1%;VGM 版训练成本基本不变,推理因省掉未来视频生成而比 FastWAM-Joint 快 1.76 倍(正文写作 1.8 倍)。

和站内已有内容的关系

物理AI实验室 1.6:模仿学习讲的是行为克隆和动作分块:策略从示范学“看到什么、做什么”。FDM 指出的正是这种训练缺了“做了之后会怎样”的信号,它补这个信号的方式不改变部署时的动作推理:仍然只从当前观测和指令去噪出动作块。

前沿雷达此前介绍的 HWAM 走了另一条路:它把执行后的本体状态和动作拼在一起联合去噪,动作通道可以看到部分去噪的状态通道。FDM 则明确禁止动作读取任何未来信息。两篇论文的预测目标(本体状态与未来图像/视频潜变量)、平台和任务都不同,数字不能互相比较;可以并排看的是依赖方向这一设计维度。

读真机数字时,可以用 物理AI实验室 1.8:评测里的问题去问:每种方法每项任务 20 次,五项合计 100 次;所读正文没有给出置信区间或不同训练种子之间的波动,消融各变体之间几个百分点的差距,有多少落在抽样误差之内,论文没有回答。

局限 / 注意

  • 这是 arXiv 预印本,全部数字为作者报告 [R],本站没有复现。论文列出了项目页,本站没有核对。
  • FastWAM-Joint 是作者自己的实现,扰动分析和效率对比都基于它,不代表其他已发布 WAM 的表现。
  • FDM 对未来扰动“不敏感”是结构上成立的,不是实验测得;FastWAM-Joint 在 α = 1.0 时动作误差的增幅在 0.22% 到 5.52% 之间,这个量级对闭环成功率的影响,论文没有单独测。
  • FDM 没有做机器人策略预训练,基线做过;两者训练设置不同,表中差距不能完全归因于依赖方向。
  • 真机部分只有一台双臂 ARX-X5、五项任务,未报告置信区间;消融只比较平均成功率。
  • 本站所读文本在附录 A.5 处截断,不含附录 C(训练超参数)、附录 D(硬件与任务细节)和附录 E(RoboTwin 逐任务结果)。
  • 论文的 AI 使用声明写明,生成式 AI 只用于辅助写作、LaTeX 排版和信息检索,未用于方法、实验、代码、数据处理或结果解读。

链接