前沿雷达|WinDEX:用头戴鱼眼双目和 IMU 重建世界坐标系里的公制 3D 手部运动,作者报告世界坐标关节误差 37.29 mm,微调后的 HaWoR 为 97.65 mm

预印本 WinDEX 用头戴鱼眼双目加 IMU 生成世界坐标公制 3D 手部标注。作者报告 W-MPJPE 37.29 mm(微调 HaWoR 97.65 mm),离线 43.61 FPS、流式 171 FPS,仿真强化学习成功率 61%。

数据表格图,浅色背景。顶部标题“作者报告:W-MPJPE,WinDEX 37.29 mm,微调 HaWoR 97.65 mm”,副标题说明数值是世界坐标手部关节误差(mm),在作者的光学动捕测试集上,由作者报告。表格有三行、两列,列名为 W-MPJPE 和 WA-MPJPE:HaWoR(预训练)为 100.92 mm、44.19 mm;HaWoR(微调)为 97.65 mm、40.91 mm;WinDEX-Window + cuVSLAM 为 37.29 mm、17.69 mm,这一行颜色较深。底部来源行注明 arXiv 2611.21143 表 V,并说明未画 RTE 列。
依据 arXiv 2611.21143 表 V 绘制(作者报告):世界坐标系下的手部关节误差,两项指标都按 100 帧分段对齐后计算,不是整段录像的累积漂移。深色的 WinDEX-Window + cuVSLAM 一行是正文讨论的结果,两项指标都低于所画的两行 HaWoR。论文没有给出区间或标准差。RTE 一列未画,数值见正文。测试集为作者自采的光学动捕数据,不是本站测量。

用人手示范训练灵巧手,需要知道手在真实空间里的位置:以米为单位,并且放在不随头部晃动的世界坐标系里。单目视频说不清深度和绝对尺度,光学动捕和数据手套又离不开实验室或手上的设备。arXiv 2611.21143(2026-11-16,香港城市大学与 CyberOrigin)提出 WinDEX:用头戴鱼眼双目相机加 IMU 采集日常操作,经几何优化生成公制 3D 手部标注,训练一个端到端网络,再蒸馏出离线和实时两个模型,分别供强化学习和遥操作使用。作者报告:世界坐标关节误差 W-MPJPE 为 37.29 mm,微调后的 HaWoR 为 97.65 mm;离线模型 43.61 FPS,流式模型 171 FPS;以 WinDEX 轨迹为参考训练的强化学习策略,仿真抓-举-放平均成功率 61%,以 WiLoR 和 HaWoR 轨迹为参考时为 8% 和 17%。下文数字均为作者报告 [R],本站没有运行代码,也没有独立复现;本站读到的论文文本止于第 VII-C 节中段。

为什么要公制尺度和世界坐标

论文把一只手的状态写成两部分:MANO 姿态参数 θ,和参考相机坐标系中以米为单位的腕部平移 w;同一段录像里每只手共用一个形状向量 β。再用视觉-惯性 SLAM 估出的相机位姿,把相机坐标系里的手换到一个重力对齐的世界坐标系。头戴相机自己在动,只留在相机坐标系里的手部轨迹会混进头部运动。坐标系之间怎样换算,见 物理AI实验室 1.1。

采集设备 CyberCap 是头戴式鱼眼双目 RGB 相机:基线 60.7 mm,硬件同步,每眼 1920 × 1200 像素、30 fps;刚性安装的 IMU 以 300 Hz 记录,与相机共用时钟。手上不戴设备,也不需要外部相机或标记点。已知的基线让双目三角化可以约束绝对深度,这正是单目方法缺的一项。论文称 CyberCap 成本低,本站读到的文本没有给出价格。

物理AI实验室 1.5 讲过,人类视频量大,但人手不是机器手,要先标注、对齐。WinDEX 针对的是标注这一步的几何精度。论文表 I 比较了几个第一视角数据集的尺度来源和验证方式,在“精度是否经过验证”一列,Ego4D、EgoDex 和 EgoScale(野外子集)都填“未报告”。这是 WinDEX 作者的整理;1.5 课引用过 EgoScale 的数据规模,本站没有回到 EgoScale 原文核对这一项。

标注:人审 2D 关键点,几何拟合 3D,按 15 像素筛选

  1. 鱼眼外围:手常出现在鱼眼图像边缘。作者从每帧渲染 5 个虚拟针孔视图(图像中心和四个象限中心),用 YOLO11-pose 和 ViTPose 检测关键点并逐关节融合,置信度低于 0.3 的候选丢弃;之后由人工复核,挑出可靠的 2D 关键点。
  2. 初始化与拟合:WiLoR 给出姿态和形状初值,双目三角化给出腕部深度。第一阶段逐帧拟合,形状取置信度最高的 64 帧各自拟合后的平均值;第二阶段做时间优化,按平滑运动、遮挡、快速运动三种模式调整时间约束的强度。遮挡时保持最后一个高置信度姿态,作者写明这样可以避免不稳定的拟合,但恢复不了看不见的手指姿态。
  3. 筛选:拟合出的 3D 手部投影回图像,与人工接受的 2D 关键点比较,平均误差不超过 15 像素才保留这一帧。
  4. 世界坐标:cuVSLAM 融合双目与惯性数据估计相机轨迹。对照光学动捕,相机轨迹的绝对轨迹误差 RMS 为 0.150 m,朝向误差 RMS 为 11.69°。

对照光学动捕真值,保留下来的标注在双手上的平均误差为:腕部位置 9.6 mm,MPJPE 10.1 mm,PA-MPJPE 6.1 mm。野外标注(包括只靠优化得到的和由模型初始化再优化得到的)合并后,相对图像观测的平均重投影误差为 7.9 像素。

数据飞轮从 20 小时纯优化标注开始:WinDEX-Net 给未标注录像出初值,人工复核独立检测出的 2D 关键点,再用上面的流程精修、按同一个 15 像素阈值筛选,通过的样本进入下一轮训练。作者在相关工作中写到,这类做法有让预测误差跨轮传播的风险。他们的约束有三条:阈值各轮固定;姿态先验在本数据集之外训练;一个光学动捕集从不参与训练,每轮用它审计,审计误差不再下降就停止。本站读到的文本没有给出迭代轮数。

得到的 WinDEX-Hand 训练集有 1,000 小时野外伪真值标注,来自 200 多名操作者、1,000 多个场景、5,000 多种近距离任务,参照 O*NET 的职业与工作活动信息整理成 13 类场景。评测用两套不参与训练的数据:另行采集、人工标注的 20 小时野外集,只有 2D 标注,没有 3D 真值;10 名志愿者完成 38 种任务、共 20 小时的光学动捕集,是在动捕空间内重建的 6 种日常场景。训练集中腕部深度的中位数为 318 mm,中间 80% 的手部帧在 215–455 mm;一半手部帧偏离光轴超过 25°,十分之一超过 43°。

一个教师,两个学生:精度与速度的取舍

教师模型 WinDEX-Net 直接处理原始鱼眼双目图像,不依赖外部手部检测器:DINO 外观特征与 VGGT-Omega 深度分支的中间层特征结合,按每个图像块的视线方向和双目标定做条件;局部裁剪分支按上一轮估计重新裁出手部区域;时间编码以 SLAM 相机轨迹为条件,用来区分头部运动和手部运动。论文用一个例子说明裁剪的作用:在 512 × 288 的整幅视图里,一只手只占 12 个图像块,裁成 224 × 224 后有 196 个。

为部署蒸馏出两个学生。WinDEX-Window 有 116M 参数,每次处理 32 帧,双向利用前后帧,供离线重建;WinDEX-Stream 有 8.92M 参数,用 MobileNetV3-Large 编码器和两层因果 GRU,只用当前一对图像和保留的历史状态,直接输出每只手 21 个公制 3D 关节,不输出 MANO 参数,供实时控制。论文表 III 在三段动捕录像上对比了速度和精度(RTX 4090,FP16,批大小 1,离线模型用 32 帧窗口、步长 16;误差单位 mm):

模型,裁剪迭代次数FPS腕部误差MPJPEPA-MPJPE
WinDEX-Net,29.5025.917.87.8
WinDEX-Net,38.1720.415.57.8
WinDEX-Net,47.3818.915.47.8
WinDEX-Window,243.6127.120.18.1
WinDEX-Window,335.9423.818.78.1
WinDEX-Window,431.7720.318.78.1
WinDEX-Stream171.0042.733.212.5

摘要里的 43.61 FPS 是 WinDEX-Window 在 2 次裁剪迭代下的离线吞吐;171 FPS 是 WinDEX-Stream 的因果逐帧吞吐,它在这张表里三项误差都最大。迭代次数增加时腕部误差下降,吞吐也下降。之后的重建对比,作者固定使用 2 次迭代的 WinDEX-Window。

与已有方法对比:相机坐标、世界坐标和 2D 检测

相机坐标系(表 IV):九个基线各报预训练(P)和微调(FT)两组结果,微调只用 WinDEX-Hand 训练集,两种设置使用相同的输入适配和测试录像。单图方法只用标定后的左视图,多视图方法用双目;UmeTrack 用 18 个对应关节,其余用 21 个。WinDEX-Window 只有 P 一行:腕部误差 15.70 mm,MPJPE 16.68 mm,PA-MPJPE 7.82 mm,抖动 3.15 m/s²。各列最好的微调基线分别是:腕部误差 UmeTrack 27.45 mm,MPJPE HaWoR 23.48 mm,PA-MPJPE HaWoR 9.45 mm,抖动 HaWoR 5.50 m/s²。作者据此称在这一基准的相机坐标指标上达到最优。

世界坐标系(表 V):对比的是 HaWoR 的完整手部重建加相机轨迹流程,与 WinDEX-Window 加 cuVSLAM 相机位姿。位置误差单位 mm,RTE 为百分比:

方法W-MPJPEWA-MPJPERTE
HaWoR(P)100.9244.193.10
HaWoR(FT)97.6540.912.83
WinDEX-Window + cuVSLAM37.2917.692.00

作者报告,三项分别比微调后的 HaWoR 低 61.8%、56.8% 和 29.3%。读这个 37.29 mm 要看清指标定义:W-MPJPE 把每 100 帧切成一段,用每段前两帧拟合一个相似变换后再算误差;WA-MPJPE 用每段全部帧拟合;RTE 是不加缩放的刚体对齐后的根轨迹误差,再除以真值路径总长。如果按 CyberCap 的 30 fps 计,一段约 3.3 秒(本站换算)。因此 37.29 mm 衡量的是每段对齐之后的误差,不是整段录像累积的漂移;整段相机轨迹的误差要看上一节的 0.150 m。

2D:在留出的人工标注野外集上,WinDEX-Window 的重投影误差为 14.5 像素;基线在图 10 中的数值本站没有读到。表 VI 比较手部检测框,WinDEX-Net 的 F1 在野外集为 80.88%,动捕集为 87.53%;Sapiens2-1B 分别为 79.69% 和 81.39%,在野外集上的召回率 77.43% 略高于 WinDEX-Net 的 77.09%。

两处数字需要对照原表引用。表 III 中 2 次迭代的 WinDEX-Window 腕部误差为 27.1 mm,表 IV 中同一模型为 15.70 mm;表 III 写明用了三段动捕录像,本站读到的文本没有说明表 IV 的测试录像与它的关系。另外,表 II(WinDEX-Net 深度分支取层消融)中第 11 层(production)一行的三项数值 15.70、16.68、7.82,与表 IV 中 WinDEX-Window 一行完全相同,所读文本没有解释原因。引用 15.70 mm 时应注明出自表 IV。

下游:Hand2Policy 与 Hand2Teleop

Hand2Policy 用 WinDEX-Window 重建录好的示范轨迹,每段只重定向一次,得到某一款机器人专用的参考轨迹,供跟踪策略做回放、重置或训练;奖励按姿态跟踪计算。仿真中使用 ManipTrans(论文参考文献 [7])的轨迹模仿器,以及 Inspire 和 Wuji 两款灵巧手。作者报告,在相同训练设置和预算下,仿真抓-举-放的平均成功率为 61%,以 WiLoR 和 HaWoR 的运动参考训练时为 8% 和 17%。摘要中的 7.6 倍和 3.6 倍就是这两个比值(61/8 ≈ 7.6,61/17 ≈ 3.6,本站核算)。作者还写到策略迁移到了真机;任务数、试验次数和真机结果在第 VII-D 节,本站没有读到。

Hand2Teleop 在本地服务器上运行 WinDEX-Stream 和实时 VIO,操作者只戴 CyberCap,由它的双目和 IMU 跟踪。手臂目标取腕部相对会话起点的全局位移,用阻尼最小二乘逆运动学求解;手部目标取相对腕部的手指姿态,用 dex-retargeting 一类解析重定向,真机上的 Wuji 手使用厂商实现。滤波、剔除瞬时跳变、保留上一个被接受的目标,用来减少不可靠观测对指令的影响。真机平台是一只 20 关节的 Wuji 五指手和一条 7 关节机械臂。171 FPS 是模型吞吐,端到端遥操作延迟在第 VII-E 节,本站没有读到。

局限 / 注意

  • 这是 arXiv 预印本,全部数字为作者报告 [R],没有独立复现。本站读到的论文文本止于第 VII-C 节中段:图 10 的基线数值、第 VII-D 节(Hand2Policy)、第 VII-E 节(Hand2Teleop)和第 VIII 节(局限)都没有读到,因此不知道强化学习的任务数和试验次数、真机迁移结果和遥操作延迟。
  • 评测数据都是作者自己用 CyberCap 采集的。3D 真值只来自动捕空间内重建的 6 种场景;野外评测只有 2D 标注,没有 3D 真值。基线的微调只用了 WinDEX 自己的伪真值训练集,单图基线只拿到左视图。所读文本没有在第三方公开基准上做对比。
  • 所读各表都没有给出标准差、置信区间或多种子结果。
  • W-MPJPE 和 WA-MPJPE 按 100 帧分段对齐后计算,衡量的不是整段录像的累积漂移;相机轨迹本身对照动捕的误差 RMS 为 0.150 m 和 11.69°。
  • 遮挡时标注流程保持最后一个高置信度姿态,被遮挡期间的手指姿态没有恢复。
  • 表 III 与表 IV 对同一 WinDEX-Window 配置给出的腕部误差不同(27.1 mm 与 15.70 mm),表 II 与表 IV 有一行数值完全相同,所读文本没有解释。
  • 论文称 CyberCap 成本低,所读文本没有给出价格。作者之一来自 CyberOrigin,所读文本没有说明 CyberCap 与这家公司的关系。论文给出了项目主页,本站没有打开,没有核实代码、数据是否公开及其许可证。

链接