前沿雷达|DEED:同一场景配齐不同指令、同一轨迹只换机位与光照重渲染,再逐任务定执行步数与夹爪阈值

预印本 DEED 为 MetaFine 五项仿真任务扩充指令配对与重渲染示范,并逐任务设定执行步数、去噪步数与夹爪阈值。作者报告官方总分 85.55%(π0 基线 43.01%),但其中两项任务只有约 64.6%。

浅色背景的分层示意图,顶部是标题“DEED 的 T5 分层采样”,底部是来源行。中间是自上而下排列的五条圆角横条,左侧依次标有数字 1 至 5,数字只表示抽样的先后层次。五条的文字自上而下:1,类别 c:0.45/0.30/0.20/0.05;2,指令 ℓ:在 c 内均匀;3,基础轨迹 b:在 c、ℓ 内均匀;4,渲染版 v:在 b 内均匀;5,窗口起点 t:在 v 内均匀。
DEED 为字母插入任务 T5 设计的分层采样:先按给定概率抽增强类别 c(干净、相机、光照、组合,依次为 0.45、0.30、0.20、0.05),之后每一层都在上一层选定的可用集合内均匀抽取:指令 ℓ(C、o、R、L)取自该类别可用的指令,基础轨迹 b 取自与 c、ℓ 相符的轨迹,渲染变体 v 取自该轨迹,训练窗口起点 t 取自该变体。先抽基础轨迹、后抽渲染变体,所以同一类别和指令下,多渲染的副本不会提高一条轨迹被抽中的概率。这是训练数据的抽样分布,不是策略的动作概率。依据 arXiv 2610.40430 第 2.2 节式 (3)(作者描述)绘制;层的顺序表示抽样的嵌套顺序,不是排名,图中的概率是论文给出的类别概率,没有其他测量值。

预印本 DEED(arXiv 2610.40430,2026-10-29,南京大学 Jingxu Gu、Dongze Lian)是一份比赛方案报告:把预训练的 VLA Xiaomi-Robotics-1 适配到 MetaFine 的五项仿真精细操作任务上。它没有提出新的模型结构,改的是两件事:喂给模型的示范怎样分布,以及模型预测的动作块怎样变成机器人指令。作者报告官方总分(Overall)85.55%,同一榜单上公布的 π0 基线为 43.01%。这篇文章更值得读的是它的拆解:五项任务里有两项只有约 64.6%;几组固定策略的对照显示,执行步数、去噪步数和夹爪映射这类部署设置就能让成绩明显变化。以下数字均为作者报告 [R],本站未复现。

MetaFine 测什么,直接微调缺了什么

按论文的介绍,MetaFine 用五项任务考精细操作:部件级抓取、定向移动、拨动开关、物体分拣和字母插入。按论文表 1 的指令,分别对应 T1(部件 cap 或 body)、T2(向前、向左、向右)、T3(红色或蓝色开关)、T4(红、蓝、绿方块)和 T5(字母 C、o、R、L)。评测分三个维度:Perception(P,相机和光照变化下的感知,用成功率曲线下面积 AUSC 计)、Understanding(U,按指令改变行为)和 Controlled Behavior(B,执行过程中的受控行为)。每项任务的分数是 P、U、B 的平均,Overall 是五项任务分数的平均。

作者认为,直接用官方示范微调预训练 VLA 会留下三个缺口:

  • 场景与指令混在一起。如果不同指令只出现在不同场景里,策略可能靠认场景而不是读指令来选目标。作者检查 T5 公开的元数据,发现不同字母子集的场景种子互不重叠,存在这种捷径的机会。
  • 视觉覆盖不够。示范里的相机位置和光照条件太少。
  • 执行接口不匹配。执行步数、逆运动学转换或夹爪语义与仿真器接口对不上时,预测出的动作块可能失败。

示范扩充:同一场景换指令,同一轨迹换画面

指令配对。对同一个初始场景,用官方专家规划器为该场景的每一条指令各生成一条轨迹:初始布局相同,目标和之后的动作随指令而变。只有当一个场景的所有指令版本都成功时,这组示范才被保留。这样,同样的初始画面对应不同的决定,策略要区分它们就只能读指令。

按物理状态重渲染。在基准自带的 ManiSkill3/SAPIEN 仿真器里,恢复一条已保存轨迹的每个状态,在新的相机和光照参数下重新渲染底座相机和手部相机的图像;本体感觉输入和未来动作目标保持不变,仍然对应原来的物理状态。论文强调,只有观测的成像方式变了,所以视角相关的几何关系和动作标签依然对齐。扰动分三档:相机平移上限 0.03、0.06、0.12 m,旋转上限 2°、6°、12°;光照在环境光 RGB 0.5 附近的半宽为 0.10、0.25、0.40。五项任务都用相机和光照扰动,只有 T5 另加了相机与光照的组合扰动,组合渲染覆盖 120 条基础轨迹。

分层采样。扩充之后,渲染副本多的轨迹会被抽得更多。T5 的数据加载器按顺序逐层抽:先按给定概率抽增强类别(干净、相机、光照、组合分别为 0.45、0.30、0.20、0.05),再在该类别内均匀抽指令,再均匀抽基础轨迹,再均匀抽这条轨迹的渲染变体,最后均匀抽训练窗口起点。先抽基础轨迹、后抽渲染变体,所以同一类别和指令下,多渲染几份副本不会提高某条轨迹被抽中的概率。论文特意说明,这个概率是训练数据的抽样分布,不是策略的动作概率。

T5 最终的数据池有 2,800 条不同的成功轨迹,渲染后共 7,840 条记录,其中 2,000 条是从 500 个四指令场景新生成的动作。其余任务的记录数(含渲染变体)为:T1 6,400、T2 3,300、T3 2,080、T4 2,940。

模型输入是任务指令、底座和手眼两路 RGB,以及关节与夹爪状态(7 个臂关节位置加两指位置的平均);一次预测 K = 30 个末端动作,用 flow matching 生成。作者沿用 Xiaomi-Robotics-1 的结构和公开训练实现。T5 最后一轮继续训练用了 12,000 次 BF16 更新(batch 4),余弦学习率从 3 × 10⁻⁶ 降到 5 × 10⁻⁷,预热 300 次。

执行设计:动作块怎样变成关节指令

部署时,策略输出的局部末端偏移先换成世界坐标系下的目标,再由逆运动学算出 7 个关节增量。手指目标被限制在 −0.01 到 0.04 m 之间;低于任务阈值 θ_g 的目标一律映射为完全闭合(−0.01 m),只有 T3 保留连续的夹爪目标。机器人只执行每次 30 步预测里的前 H 步,然后重新观测、重新预测,即滚动时域式的重规划。H、去噪步数 D 和 θ_g 都是按任务分别评测后选定的,没有用一套设置覆盖所有接触(论文表 1):

任务配对指令记录数HDθ_g(mm)
T1cap / body6,40010535
T2向前 / 向左 / 向右3,30025215
T3红 / 蓝开关2,080255—(连续)
T4红 / 蓝 / 绿方块2,94025535
T5C / o / R / L7,840253035

结果:一个总分,两种任务

官方最终成绩(论文引用组织方排行榜,更新于 2026-10-24):

任务PUB任务分
T168.9662.5062.5064.65
T298.47100.00100.0099.49
T398.96100.00100.0099.65
T498.15100.00100.0099.38
T561.1566.2566.2564.55
平均85.1485.7585.7585.55
  • 85.55% 是两组任务的平均。T2、T3、T4 都在 99% 以上,部件级抓取 T1 和字母插入 T5 只有 64.65% 和 64.55%。比 π0 基线高 42.54 个百分点,说的是这个总分;所读正文没有给出 π0 的逐项成绩。
  • U 和 B 每一行都相同。五项任务的 U 与 B 两列数值完全一致,所读正文没有解释原因,本站也不做推断。

论文另做了几组固定策略的本地对照(权重和归一化在每组比较内固定,flow 噪声种子为 0):

  • T1 的执行步数。3 批各 20 个场景,共 60 个场景,每种 H 跑 540 个回合。H = 10 时 P 93.75、U 78.33、SR 90.19;H = 25 为 84.03、69.17、80.93;H = 5 为 85.56、65.83、81.30。SR 把每个场景 2 个干净指令回合和 7 个感知回合按相同权重合并。H = 10 同时高于更长和更短的两档,作者据此说缩短执行窗口并不总是有利。按每个场景 2 个指令回合推算,U 的 78.33% 与 69.17% 约为 120 次中成功 94 次与 83 次(本站换算)。
  • T3 的去噪步数。40 个新场景,每种 D 跑 360 个回合。D = 3 与部署用的 D = 5 结果相同(P 98.13、U 97.50、SR 98.06);D = 10 的 P 低 0.83 个百分点,U 低 2.50 个百分点,按上面的推算约为 80 次中少成功 2 次(本站换算)。这组扫描没有测 D = 1。
  • 夹爪映射。在一个更早、只做了部分适配的 T1 策略上测了 20 个场景:连续夹爪目标 P = 27.92%、U = 14/40(35.00%);按阈值完全闭合 P = 57.92%、U = 22/40(55.00%)。这组结果来自旧策略,不能直接套到最终提交的策略上。
  • 指令有没有被读。在 8 个经专家筛选的 T5 场景上,给正确指令时 32 次成功 21 次(65.63%);把字母指令循环错位后 32 次全部失败(0%),初始状态和图像逐对匹配。本站的读法是:在这 8 个场景里,换掉指令就全部失败,说明成功依赖正确的指令,而不只是认出场景。

读这几组对照要注意,作者自己写明了两点:各设置共用场景种子,但由于仿真环境的历史不同,后续的物理初始状态可能不一样,所以这些是汇总比较,不是初始状态完全匹配的反事实对照;改变 H 也会改变按动作块编号的 flow 噪声序列。此外,本地扫描里 T1 在 H = 10 时 P 为 93.75,官方成绩里 T1 的 P 为 68.96,两者来自不同的评测运行,论文没有解释差距,不能拿本地数字代替官方成绩。

和本站课程与前沿雷达的关系

DEED 的指令配对和重渲染,是 物理AI实验室 1.5:数据从哪来 里“合成”这条来路的一个具体做法,论文也引用了 MimicGen。它补上了 1.5 强调的一点:生成多少条不等于覆盖多少种情况,而 DEED 还额外控制了“同一场景、不同指令”这一维,并用分层采样防止渲染副本悄悄改变训练分布。按物理状态重渲染与 物理AI实验室 2.5:sim2real 的域随机化与系统辨识 讲的域随机化同源(论文引用了 Tobin 等的工作),但这里只随机化了相机和光照,目的是覆盖评测里的视觉扰动,所读正文也没有涉及真机迁移。

“执行前 H 步再重新观测”沿用的是 ACT 的动作分块,见 物理AI实验室 1.6:模仿学习;末端目标经逆运动学换成关节增量,见 物理AI实验室 1.1:坐标系与运动学。前沿雷达|PAV 讨论的也是一个动作块该执行多长,但它在运行时按预测后果逐块决定;DEED 则是离线按任务扫一遍,再给每项任务定一个固定的 H。两篇的基准和策略不同,数字不能互比。至于“共用场景种子却不等于初始状态匹配”“一个平均分盖住逐项差异”,可以对照 物理AI实验室 1.8:评测 里的配对表练一遍。

局限 / 注意

  • 这是 arXiv 预印本,全部数字为作者报告 [R]。官方成绩是论文引用的组织方排行榜(论文写明 2026-10-24 更新、2026-10-28 访问),本站没有打开排行榜核对,也没有复现任何结果。
  • 所有实验都在 MetaFine 的仿真环境里进行,所读正文没有真机实验,这些结果不是硬件安全验证。
  • 重渲染、分层采样和组合扰动的细节主要针对 T5 给出,其余任务的扩充比例只能从表 1 的记录数看出个大概。
  • 本地对照每组只用一个 flow 噪声种子,所读正文没有置信区间或显著性检验;夹爪对照来自更早的部分适配策略;指令错位测试只有 8 个场景、每种条件 32 次。
  • 论文正文把官方成绩表称为“Table 3”,而该表的标题编号是 Table 2,本地消融表才是 Table 3,属于 HTML 版本里的编号不一致。
  • 所读正文没有说明 DEED 的代码或扩充后的数据是否公开。约 94/120、83/120 和 80 次中少 2 次,都是本站按论文给出的回合构成做的换算。

链接