给多指灵巧手采示范，常见的两条路各有短板：遥操作录下的是机器人可执行的动作，但需要一整套机器人，操作者还得协调很多个手指关节；人手示范采起来容易，但动作要先估计、再重定向到机器人手上，数据里也没有机器人动作。预印本 DexPort（arXiv 2610.32969，2026-10-23）走了第三条路：把部署时用的同一只 20 自由度灵巧手和一台鱼眼相机做成一个可拆的模块，采集时装在手持手柄上，部署时装到机器人手腕上；采集者用少量技能控制手指，数据里同时记录发给手的 20 维指令目标和实测关节状态。作者报告，同一批数据用指令目标而不是实测关节状态作动作标签，三项按成功率评分的任务平均最终成功率从 11% 提高到 64%；加入 1,000 条野外示范共训，抓放任务三种评测条件的平均成功率从 36% 提高到 78%。本文重点读“指令标签对状态标签”这组对照能说明什么、不能说明什么，以及野外数据和采集速度两组数字的口径。以下数字均为作者报告 [R]，本站未复现。
问题：灵巧手示范为什么难采
对平行夹爪，UMI 已经用手持夹爪在各种环境里自然、成规模地采示范。作者认为，把这种做法推到多指手上并不简单。DexUMI、DEXOP 等用可穿戴的手部外骨骼采集接触丰富的动作，但自由度越多，机械越复杂，操作者的负担也越重；而且它们记录的是外骨骼的构型，不是部署那只机器人手收到的指令和产生的状态。RealDexUMI 用实体机器人手记录可执行指令，但演示所用的手只有 6 个主动自由度。
作者据此提出便携采集接口的三条要求：采集与部署用同一个末端执行器（Same Emb.），这样手部动作不用重定向；记录发给手的指令（Action Data），而不是只从后续的实测状态反推动作，因为接触时指令目标和实测关节状态可能不同；可控自由度要足够多（DoF），否则用更简单的夹爪就够了。论文表 I 按这三条和重量比较了已有系统，下面摘几行（作者整理）：
| 系统 | 可控自由度 | 重量 | 同一本体 | 记录指令 |
|---|---|---|---|---|
| UMI | 1 | 780 g | ✓ | ✗ |
| DexUMI | 12/6 | 850 g | ✓ | ✗ |
| DEX-Mouse | 6 | > 1000 g | ✓ | ✓ |
| RealDexUMI | 6 | 680 g | ✓ | ✓ |
| DexPort | 20 | 955 g | ✓ | ✓ |
硬件：同一个手–相机模块，两种装法
模块由一只五指、20 自由度的 Wuji 机器人手和一台广角鱼眼相机（附录写明是带 200° 鱼眼镜头的 USB 板载相机）通过 3D 打印的刚性法兰连成一体。采集时它接到一个由 Meta Quest 2 手柄改成的采集把手上；部署时，同一个物理模块装到机器人手腕上，所以手的本体和相机到手的外参在两种场合都不变。作者为 Wuji 1 和 Wuji 2 两款手各设计了法兰。
- 记录什么。Quest 2 手柄给出手腕的 6 自由度轨迹，鱼眼相机拍下手与物体的交互和周围场景，手的控制器同时记录 20 维指令关节目标和由此产生的关节状态。一个记录循环以 30 Hz 运行，相机、手和手柄各在后台线程读取。作者认为采集和部署用同一个 30 Hz 循环，延迟应大致相当，因此没有像 UMI 那样测量各路数据的延迟、在后处理中做时间对齐。
- 重量。整个手持组件重 0.955 kg，其中手以外的部件 0.220 kg。手背上有一条绑带分担负载；最初的设计把手柄放在手的后方，握点偏离组件质心、力臂长，最终设计把手柄移到手的上方，让握点靠近质心，以减小操作者手腕要抵抗的力矩。
- 部署标定。采集到的末端动作在 Quest 手柄坐标系中表示，部署时要换到机器人末端坐标系。作者把模块拴在机器人法兰上，把机械臂移到约 30 个让法兰轴倾斜至少 30° 的位姿，每个位姿停 1.5 s 后记录成对的法兰与手柄位姿，用闭式手眼解初始化，再用非线性最小二乘求出固定的手柄到法兰变换；两条手臂各标定一次。20 维手部目标不需要换算。
- 部署平台。策略部署在 Tianji Marvin 上，这是一台有两条 7 自由度手臂的双臂机器人。抓放和拧螺丝刀用 Wuji 1，抽屉收纳和双手扫码用 Wuji 2。在 Wuji 1 上，手部目标先经过 5 Hz 低通滤波，再由手的固件以 1 kHz 插值，每个关节的力矩上限为 0.5 N·m。
技能只帮采集者，策略直接学原始指令
Quest 2 手柄只有两个按钮、两个连续扳机和一个双轴摇杆，要用它驱动 20 个关节，作者把手指动作封装成几种参数化技能：
- 拇指控制：摇杆两个轴分别控制拇指的屈伸和内收外展，做法沿用 HATO。
- 力抓握（power grasp）：一个摇杆轴控制四指协同合拢，推摇杆逐步收紧或放松，松开摇杆就保持当前目标，不需要一直按着。
- 捏取（pinch）：同样的增量指令只控制食指，让它合向独立摆好的拇指，用于小物体和需要指尖精确接触的抓取。
- 两指抓握：食指和中指一起开合，其余手指保持目标，用于多物体抓取、两指夹住再拉等多阶段动作。
- 手内旋转：按一个按钮，调用一个学到的闭环策略，产生转动手中工具所需的反复换指动作；操作者继续控制手的整体运动。
手内旋转技能在 Isaac Lab 中用 PPO 训练：把螺丝刀建模成绕旋转关节转动的 12 棱柱，仿真中手的底座固定，策略控制 12 个关节，无名指和小指固定；随机化物体质量、质心、摩擦、恢复系数、手指 PD 增益、初始抓握和随机扰动力；4096 个并行环境，共 1.18 × 10⁸ 个环境步。采集时，这个三层 MLP 以 20 Hz 读取手的关节编码器运行。
技能只用来帮采集者。学到的策略是一个扩散策略（1D 卷积 U-Net 去噪器，微调过的 DINOv2 ViT-S/14 视觉编码器）：观测最近两个时间步，每步包括一张 224 × 224 的 RGB 图像、相对于当前动作块起点的末端位置和实测的 20 维手部状态；输出一个 16 步的动作块，每步 29 维，其中手腕 9 维（3 维平移加 6D 旋转），手 20 维（绝对关节目标）。策略不接收技能身份、技能参数或任务阶段标签，直接预测记录下来的指令关节目标。部署时策略以 30 Hz 异步推理，每个新动作块保留前 8 步、丢掉时间已过的步，每个控制时刻对覆盖它的各个动作块取平均；手腕动作经标定变换后，用 PyRoki 的 Levenberg–Marquardt 逆运动学解到 7 自由度手臂。
作者特别写明：把动作标签从指令目标换成实测关节状态，是定义“状态作动作”基线的唯一改动，训练配方的其余部分完全相同。
核心对照：同一批示范，换一种动作标签
四个评测任务分别考不同的灵巧能力：蔬菜抓放（依次把两样蔬菜放进盘子，要按形状大小在捏取和力抓握之间选择）；拧螺丝刀（保持稳定抓握的同时在手内转动螺丝刀）；抽屉收纳（不放下手里的物体，用同一只手拉开抽屉、放入物体、再关上，加了一台第三人称相机，因为抓着的物体挡住了大部分视野）；双手扫码（一只手抓起并递出物体，另一只手摆好并操作扫码枪）。每个策略在每个任务或评测条件下评测 15 次。抽屉收纳和双手扫码按阶段计分，一个阶段只有在之前各阶段都成功时才算成功；拧螺丝刀报告平均握持时长（秒）和每分钟转数。
作者报告的结果：
- 在按成功率评分的三项任务上，指令标签策略的平均最终成功率为 64%，状态标签基线为 11%，差 53 个百分点（本站换算）。按评测协议，这三项应是抓放、抽屉收纳和双手扫码；所读正文没有逐项列出最终成功率（在图 4 中），也没有说明抓放用的是哪种评测条件。
- 双手扫码上，基线在 80% 的回合里抓起了第一个物体，13% 的回合同时握住两样，从来没有完成扫码。作者指出，因为后一阶段要以前一阶段成功为前提，差距会逐级累积，而不是一个固定的偏移。
- 拧螺丝刀上，基线握住工具的时间是指令标签策略的两倍多（31.7 s 对 15.6 s），但转速只有后者的三分之一。
- 作者描述的失败形态：基线抓得不够紧，在递给扫码枪时把包裹掉了，拉开抽屉时衣物从手里滑落（图 6）。
读这组对照要注意几点：
- 这是同一份 DexPort 数据上的标签消融，不是不同采集接口之间的比较。两种策略的观测、网络和训练配方相同，只有动作标签不同。作者由此推断，没有动作数据的外骨骼类接口有一个主要局限；这是延伸推断，论文没有用外骨骼采集的数据做实验。
- 差距为什么会出现在接触上。论文给的理由是接触时指令目标和实测状态可能不同，以及用指令时能施加握紧物体所需的力。本站的解读是：手指被物体挡住时，实测关节位置停在物体表面，而指令目标可以更深，把实测状态当目标来复现，就丢掉了这段差。所读正文没有给出力的测量，也没有报告指令与状态之间差多少。
- “握得更久”不等于做得更好。拧螺丝刀一项里，基线在握持时长上更高，在转速上更低。只看一个指标会得出相反的结论，这也是作者同时报告两个量的原因。
- 样本量。每项 15 次，80% 约为 12 次，13% 约为 2 次（本站换算）。所读正文没有报告置信区间、重复次数或随机种子。
- 记录的是哪一级指令。Wuji 1 上手部目标先经 5 Hz 低通滤波再由固件插值，所读正文没有说明记录下来的指令目标取自滤波前还是滤波后。
野外数据与采集速度
实验室里共采 1,605 条示范：蔬菜抓放 700 条、螺丝刀 200 条、抽屉收纳 380 条、双手扫码 325 条；另外在公寓和办公室等非结构化环境里采了 1,000 条抓放示范，合计 2,605 条（本站加总）。野外数据用的是与实验室相同的训练物体，差别在场景、背景和光照，而不是物体本身。采集不需要机械臂，也不需要外部追踪设施。共训时每个批次 50% 取自野外数据；每个策略在各自的实验室示范上训练相同的轮数（约 250 轮）。
论文表 III 给出了两种实验室数据量下的抓放完全成功率（两样都放进盘子，%），每个条件 15 次：
| 实验室示范 | 野外示范 | 已见物体 | 未见物体 | 有干扰物 |
|---|---|---|---|---|
| 500 | 0 | 0 | 20 | 0 |
| 500 | 500 | 33 | 13 | 53 |
| 500 | 1,000 | 47 | 7 | 40 |
| 700 | 0 | 47 | 20 | 40 |
| 700 | 500 | 53 | 53 | 53 |
| 700 | 1,000 | 73 | 73 | 87 |
- 36% 到 78% 是 700 条实验室示范下的三格平均。(47 + 20 + 40) ÷ 3 ≈ 36，(73 + 73 + 87) ÷ 3 ≈ 78（本站核算）。按每格 15 次换算，有干扰物一列从约 6 次升到约 13 次，未见物体从约 3 次升到约 11 次。
- “每个条件都随野外数据增加而提高”只在 700 条一组成立。500 条一组里，未见物体从 20% 降到 13%、再到 7%，有干扰物从 0% 升到 53% 又回落到 40%。作者的解释是野外数据只增加了场景多样性、没有增加物体几何，并推测要把这种鲁棒性迁移到新物体上，需要足够大的实验室数据集；这是作者的假设，论文没有另做实验验证。
- 网络规模不完全相同。附录表 VI 中，“抓放野外”配置的 U-Net 通道为 (512, 1024, 2048)，“抓放基线”为 (256, 512, 1024)。所读正文没有说明“抓放基线”具体指哪几个策略；如果只用实验室数据的抓放策略用的是较小的网络，那么共训带来的提升里就混入了模型容量的差别。
采集速度按单手抓放任务上连续操作 30 分钟采到的轨迹数计（表 II）。每种方式的操作者都是熟练水平：
| 方式 | 轨迹数 / 30 分钟 | 便携 | 同一手部本体 | 动作数据 |
|---|---|---|---|---|
| DexPort | 122 | ✓ | ✓ | ✓ |
| 技能遥操作（同一套技能控制手，VR 追踪控制末端） | 68 | ✗ | ✓ | ✓ |
| 手套遥操作（Wuji Glove 追踪手部，VR 手柄控制末端） | 86 | ✗ | ✓ | ✓ |
| 人手示范 | 275 | ✓ | ✗ | ✗ |
由此得到的约 1.4 倍（对手套遥操作）、约 1.8 倍（对技能遥操作）和人手约快 2.3 倍，都是这一次 30 分钟计数之比。作者把遥操作较慢归因于操作者不在场景里、少了直接的视觉和触觉线索；这是作者的解释，论文没有单独检验。作者把人手示范看作速度上限而不是竞争的数据来源，因为它既没有部署手的本体，也没有指令动作。所读正文没有说明每种方式由几名操作者完成、计数了几轮，也没有比较各方式所采轨迹的成功率或质量。
和本站其他内容的关系
物理AI实验室 1.5：数据从哪来 讲了遥操作、人类视频和合成三条来路，并强调维数相同的动作空间含义可能不同。DexPort 落在遥操作和人手示范之间：采集者拿着机器人手本身走进环境，所以动作空间就是部署手的动作空间；而它的标签消融说明，即使在同一只手、同样 20 维的动作上，“发出的指令”和“测到的状态”也是两种不同的标签。策略本身是 物理AI实验室 1.6：模仿学习 讲过的扩散策略，野外共训的结果也和那一课“多样性比堆数量更关键”的讨论有关，但这里增加的只是场景多样性。15 次评测、阶段串联的成功率、握持时长与转速给出相反结论这几点，可以用 物理AI实验室 1.8：评测 的方法来读。手内旋转技能在仿真里用动力学随机化训练，相关概念见 物理AI实验室 2.5：sim2real 的域随机化与系统辨识；所读正文没有单独报告这个技能本身的成功率。
此前的 前沿雷达｜DexStitch 走的是另一条路：从人类视频切出灵巧手技能，再转换成机器人数据。DexPort 绕开了人到机器人的转换，代价是每个采集者要带一只真实的机器人手，手持组件重近 1 kg。两篇的任务、硬件和指标不同，数字不能互比。
局限 / 注意
- 这是 arXiv 预印本，全部数字为作者报告 [R]，本站没有复现。每个任务或条件评测 15 次，所读正文没有置信区间、重复次数或随机种子。
- 本文依据论文的 HTML 正文和表格文字，没有读取图 4 等图中的数值；四个任务的逐项最终成功率、拧螺丝刀的具体转速都在图中，本文没有引用。
- 64% 对 11% 是同一份数据上的动作标签消融；论文没有用外骨骼或其他接口采集的数据做对照，“外骨骼类接口的主要局限”是作者的推断。
- 野外数据只用于抓放任务，物体与实验室相同；抽屉收纳额外使用第三人称相机。采集画面中有时能看到操作者，作者没有做去除处理。
- 作者写明的局限：尽管做了人体工学设计，设备重量仍限制连续使用和以旋转为主的动作；技能只覆盖灵巧行为的一部分。
- 实验在真实机器人上进行，但所读正文没有安全评估，这些结果不是硬件安全验证。
- 论文给出了视频页 amberxie88.github.io/dexport/；所读正文没有说明代码、硬件设计或数据集是否发布。本站撰写时没有打开该页核实其内容。
- “差 53 个百分点”“合计 2,605 条”“约 12 次、约 2 次”等次数，以及各项倍数与平均值的核对，都是本站按论文数字做的换算。
链接
- DexPort: A Hand-Held Skill Interface for Dexterous Hand Data Collection（arXiv 2610.32969）
- 论文 HTML 全文
- 物理AI实验室 1.5：数据从哪来，从 SO-101 元数据算出示范时长，再分清三条来路的单位与动作空间
- 物理AI实验室 1.6：模仿学习，手算误差怎样滚出示范覆盖范围，再把 ACT、扩散策略与数据规模律的数字放回各自条件
- 物理AI实验室 1.8：评测，把“净增 2”拆成配对表，再给失败标签和随机种子算一笔账
- 物理AI实验室 2.5：sim2real 的域随机化与系统辨识，把两篇论文的数字放回原设定，再从一条推杯轨迹手算摩擦
- 前沿雷达｜DexStitch：把“过渡”也标成一个技能，从人类视频切出、转换并拼接灵巧手技能
- 物理AI实验室：一套每个数字都能核对的物理 AI 课程（课程大纲）
