
预印本 Kinematic Hypothesis Context: Embodiment-Conditioned Learned Video Coding for Bandwidth-Limited Robot Policy Uplinks(arXiv 2611.07411,2026-11-05,作者 Yuze Lu,清华大学)讨论的场景是:VLA 策略放在远端 GPU 上运行,机器人只能通过几 kbps 的上行链路回传相机画面。论文的出发点是,机器人相机画面里的很大一部分变化由机器人自己的运动造成,而接收端本来就有关节角、机器人模型和相机标定,这部分可以在两端各自算出来,不必再花比特传。作者报告,在 LIBERO 仿真闭环里,6 kbps 预算下 OpenVLA-OFT 的成功率从 22.8% 升到 43.1%。以下数字均为作者报告 [R],本站未复现;所有闭环成功率都来自仿真。
问题:远端策略的上行链路
论文的系统模型是:策略每 k 个控制步返回一个动作块,OpenVLA-OFT 为 k = 8、控制频率 20 Hz,即每 0.4 s 查询一次。每次查询,机器人发一个包,里面是无损编码的本体与关节状态,加上每路相机一帧编码后的画面。解码这一帧之前,接收端已经持有:此前解码的画面、全部关节状态、自己生成过的动作、机器人模型(运动链与连杆网格,每次会话共享一次)和相机标定(内参、外参与手眼变换)。作者举的低带宽例子是走蜂窝或卫星链路的野外机器人、共用一个接入点的机器人群和水下平台,称每台机器人的上行只有几 kbps;这是论文对应用场景的描述,不是测量。
物理AI实验室 2.6:上边缘 讲过把模型装到机器人身上、避免上云来回传的理由。这篇论文讨论的是另一种选择:模型留在服务器上,然后把上行链路压到最省。两者面对的是同一笔账:一次观测从拍下到被策略用上,要花多少时间。
机制:用运动学在两端各算一份参考画面
给定上一次和这一次查询的关节角,正运动学可以算出每个连杆、末端执行器和腕部相机的位姿。物理AI实验室 1.1 讲过,正运动学只有一个答案;这一点在这里很关键:发送端和接收端用同样的数据跑同一个确定性的生成器,得到同一份结果,所以这份“运动学上下文”本身不占码率。真正多传的,只有本体状态之外的 7 个关节角,作者称实验里这些字节都计入了码率。
KHC 用上一帧的解码结果,按运动学生成 J = D + 5 个变形后的参考画面(D = 32 时共 37 个),每个带一张有效性掩码:
- 恒等:随相机一起动的内容(腕部视角里的夹爪),或静止相机下的静态场景。
- 平面扫描(D 个):在逆深度 1/3 到 12.5 m⁻¹(对应 3 m 到 8 cm)之间均匀取 D 个与相机平行的平面,各自对应一个单应变换,用来解释移动相机的自身运动。论文证明,已知相机运动时,每个静态像素的运动只剩逆深度这一个自由度。
- 机器人层:两端都只渲染机器人本身,每个机器人像素跟着自己所在的连杆移动;渲染深度对不上(超过 5% + 1 cm)的像素视为自遮挡、标为无效。
- 末端平面:一个随末端执行器移动的平面,用来带动被抓住的物体。
- 背景记忆:静止相机下,接收端保留被手臂挡住之前的背景,手臂移开后不必重传。
- 辅助槽:只在对照实验里使用。
一个融合网络把这些参考画面变成三个尺度的上下文,加进一个 DCVC 式条件编码器的分析变换、熵模型和合成变换。作为基线的 HIST 用同一个网络,只是每个槽都填上一帧解码画面,两者都是 7.0M 参数。码率极低时,发送端还可以只发一个两字节的槽号(kinematic SKIP),接收端直接显示对应的参考画面。HIST 的 SKIP 只能重复上一帧;KHC 的 SKIP 显示的是机器人当前位姿下的画面。
为什么不直接把位姿向量喂给编码器?论文的命题 2 说明:感受野有限的同位置预测器,再加任何全局向量,在位移超出感受野时都用不上这份信息。运动学信息必须变成像素的搬运。实验里的 GVEC 对照(把相对相机与末端运动作为 24 维向量广播进去)对应的就是这一点。
编码结果:省下的比特来自机器人自己的运动
在 LIBERO 四个留出套件的 200 个测试回合上(256 × 256,第三人称与腕部两路相机),作者报告:
- 同 PSNR 下,KHC 比同容量的 HIST 少用 23.9% 码率(95% 区间 −25.0% 到 −22.8%);第三人称相机省 37.9%,腕部相机省 12.3%。
- 对照组:用另一回合的运动学(SHUF)相对 HIST 只变化 +1.2%,加第二帧参考(HIST2)为 +2.9%,GVEC 为 −0.6%(区间包含零)。作者据此认为增益来自运动学本身,不是容量或额外的时间上下文。
- 相对同为低时延配置的 x264、x265 和 SVT-AV1,分别省 54.9–55.8%、49.0–49.1% 和 39.7%。
- 相对实时神经编码器 DCVC-RT:按 PSNR,KHC 仍需多 7.5% 码率(区间 −0.5% 到 16.4%,差异不显著);按“动作偏差”,同等偏差下少用 23.2%。动作偏差是 OpenVLA-OFT 分别看解码画面和原始画面时输出的 8 × 7 动作块之间的 L1 距离,属于开环指标。
- VVC 参考编码器 VTM-23 在全码率范围内仍更省(4:2:0 下 KHC 多用 29.0%,4:4:4 下多用 42.1%),但它是离线编码器,论文转引 DCVC-RT 论文称其低时延配置约 0.01 帧/秒;KHC 编码一帧 26.7 ms。在闭环实际使用的低码率段,两者在 LPIPS 和动作偏差上大致持平,PSNR 上 VTM-23 仍领先。
闭环:成功率的“悬崖”与事先定好的预算
闭环用官方 OpenVLA-OFT 检查点,不做修改;上行在每次策略查询时用解码画面替换两路相机图像,8 维本体状态无损传递。每个配置跑 4 个套件 × 10 个任务 × 40 个初始状态 = 1,600 个回合,种子相同,按(套件、任务、初始状态)配对。不压缩时成功率为 96.9%。
预算怎么定,是这篇论文值得学的地方。预实验显示,HIST 在自己最低的原生码率点 9.5 kbps 下仍有 88.5% 成功率,策略在编码器的整个常规范围内都饱和,此时比较不出差别。论文的命题 4 说,编码增益换成任务增益的比例取决于成功率曲线的斜率。于是作者先描出 HIST-skip 的成功率曲线,再按事先写好的规则,把预算放在曲线从下限升到不压缩水平 30%、60%、85% 的位置,得到 6.0、8.3、10.7 kbps,并且用的是与主实验不相交的初始状态。下表摘自论文表 III(原表保留两位小数,这里四舍五入到一位):
| 上行方式 | 6 kbps | 8.3 kbps | 10.7 kbps |
|---|---|---|---|
| HIST-skip(只用历史上下文) | 22.8% | 57.1% | 85.2% |
| KHC-id(运动学编码,SKIP 只能重复上一帧) | 30.4% | 65.8% | 88.1% |
| KHC-skip(运动学编码加 SKIP 合成) | 43.1% | 71.9% | 88.5% |
| x265 CBR(实测码率超出预算) | 32.4%(9.85 kbps) | 63.8%(12.35 kbps) | 79.5%(15.74 kbps) |
KHC-skip 与 HIST-skip 的实测码率相同(6 kbps 档为 6.07 对 5.98 kbps,含 KHC 多传的关节角),三个预算下的差距是 20.4、14.8 和 3.3 个百分点,作者报告经 Holm 校正后都显著(精确 McNemar 检验,成功率附 Wilson 95% 区间)。中间一行把增益拆成两部分:只换编码上下文就多了 7.6、8.7 和 2.9 个百分点;允许 SKIP 显示运动学参考画面,在 6 和 8.3 kbps 下又多了 12.8 和 6.1 个百分点,10.7 kbps 下几乎不跳帧,这一项没有贡献。6 kbps 下约有一半画面被跳过(跳帧比例 0.46):HIST 的接收端此时显示的是最多几次查询之前的手臂位置,KHC 显示的是手臂当前所在的位置。x265 的码率控制压不到这些预算,即使多用 47–64% 的码率,成功率仍低于 KHC。
配对比较在 物理AI实验室 1.8、Wilson 区间在 物理AI实验室 2.8 练过;这篇论文另用 Holm 校正处理多重比较。它是一个把这些方法用在系统论文里的例子:先定位曲线上有区分度的区间,再按规则放预算,每个配置都在同一批初始状态上配对。
更强的对照:头条数字之外
摘要里的“接近翻倍”比的是同容量的 HIST。论文的扩展实验(初始状态 0–19,每个配置 800 个配对回合,13 项检验作为一个 Holm 族)给出了更完整的比较:
- 把 DCVC-RT 放进同一个 SKIP 与码率控制器:8.3 kbps 下 KHC-skip 为 72.4% 对 66.6%(作者称差距随任务而变),10.7 kbps 下为 88.9% 对 69.4%;6 kbps 下 DCVC-RT 为 49.0%,高于 KHC-skip 的 43.6%(不显著),作者解释为 DCVC-RT 训练覆盖的码率更低,只跳过 6% 的画面,而 KHC 跳过 45%。
- 6 kbps 下,用 HIST 编码 128 × 128 画面再双三次上采样,成功率 53.1%,也高于 KHC-skip 的 43.6%;半频率传图为 47.9%(不显著)。
- 强制 x265 遵守预算(靠跳帧),成功率只有 0.0%、0.3% 和 4.0%。
- 8.3 kbps、随机丢包 10% 时,KHC-skip 为 46.4%,HIST-skip 为 22.9%。
- 把 KHC 和 HIST 都按同一配方改训到更低码率(KHC-LR、HIST-LR)后,KHC-LR-skip 在 6 kbps 下达到 72.6%,比 HIST-LR 和同一控制器下的 DCVC-RT(都是 49.0%)高 23.6 个百分点;但在 8.3 和 10.7 kbps 下,它对 HIST-LR 的领先只剩 5.8 和 3.3 个百分点。低码率训练本身也大幅抬高了历史编码器。
- 第二个策略 π0.5(每 5 个控制步查询一次,4 Hz)按同样规则得到自己的预算 10.0、13.4、16.9 kbps;在中间预算下,KHC-skip 把成功率从 55.5% 提到 77.4%(+21.9 个百分点,区间 12.0 到 32.6),实测码率 12.79 对 12.76 kbps。
读这组数字要分清比较对象:对同容量 HIST,增益在每个预算都存在;对同一控制器下的 DCVC-RT 和 128 × 128 方案,原版 KHC 在最低预算下并不总是领先,改训低码率后的 KHC-LR 在三个预算下都领先;论文没有拿 KHC-LR 和半频率传图比较。作者也指出,降分辨率、降频率可以叠加在 KHC 之上。
部署条件:同步、标定与计时
- 状态与画面必须同步。状态与画面错开一帧,参考画面就会误导编码器,码率反而比 HIST 多 43.8%;未滤波的位姿抖动会让增益消失(+3.7%)。作者认为硬件触发相机和标准状态估计器能提供这种同步。
- 标定误差的影响是二阶的。两端同样使用有误差的手眼标定时,1°/5 mm、2°/10 mm、5°/20 mm 的误差分别保留 99%、97% 和 91% 的码率节省。
- 真实数据只做了离线编码。在 DROID 的 30 个留出实验室测试回合上,自标定的腕部相机省 11.2%,三路相机合计省 4.7%;两路外部相机没有可用外参,按设计退回 HIST。论文没有在真机上做闭环。
- 计时在 RTX 4090 上测得。P 帧编码 26.7 ms、解码 17.0 ms(HIST 为 23.4 和 13.2 ms),只渲染机器人每端每路相机 1.95 ms,峰值显存 277 MB。作者估算,在慢于 55–227 kbps 的链路上,少传的比特带来的传输时间节省超过多出的计算,6–11 kbps 下同 PSNR 时每次观测早到 90–400 ms。本站读到的正文没有给出机器人端嵌入式硬件上的编码耗时。
- 平面数可以更少。消融中(均训练 100k 步),D = 4 相对 HIST 省 12.6%,不比 D = 32 差,作者建议部署时用四个平面。去掉机器人层,码率上升 26.4%,是贡献最大的一项。
- 传输安全另需处理。论文描述的包里有步数计数、无损编码的关节状态和各相机的码流,会话标识在连接时交换一次;本站读到的正文没有涉及链路加密和认证。关节状态和相机画面经过这条链路,实际部署时应另加传输层加密与双向认证。
局限 / 注意
- 这是单作者的 arXiv 预印本,全部数字为作者报告 [R],本站没有复现。“预先注册的协议”是作者的说法,本站读到的正文没有给出注册记录的链接。
- 闭环实验全部在 LIBERO 仿真里完成(经 robosuite 在 MuJoCo 中重新渲染),只有两个策略。真实数据只有 DROID 上的离线压缩,没有真机闭环;摘要里“迁移到真实机器人数据”指的是这一点。
- 6 kbps 下,原版 KHC-skip 低于同一控制器下的 DCVC-RT 和 128 × 128 方案(前者不显著);“接近翻倍”的比较对象是同容量 HIST。
- 作者列出的局限:依赖状态与画面同步;没有外参的外部相机目前退回 HIST;形变物体、液体和工作区里的人不能被任何参考画面解释(以真实场景深度替代平面扫描的上界还能再省 18.3%);PSNR 上中高码率段仍落后 VTM-23。
- “几 kbps 的上行”是论文对应用场景的设定,不是对某类链路的测量。本站读到的正文止于结论一节,没有读补充材料。
- 所有结果都是编码与仿真任务指标,不是硬件安全验证。跳帧时策略看到的是合成画面,真机上还需要独立的安全层兜底。
链接
- Kinematic Hypothesis Context: Embodiment-Conditioned Learned Video Coding for Bandwidth-Limited Robot Policy Uplinks(arXiv 2611.07411)
- 论文 HTML 全文
- 物理AI实验室 2.6:上边缘,从时延日志算出控制频率上限,分清量化省下的是体积还是时间,再给动作块定长度
- 物理AI实验室 1.1:坐标系与运动学,手算一条两连杆手臂怎样够到杯子
- 物理AI实验室 1.8:评测,把“净增 2”拆成配对表,再给失败标签和随机种子算一笔账
- 物理AI实验室 2.8:可复现评测,手算 Wald 与 Wilson 区间,从 1/√n 定评测次数,再给零失败算出失败率上界
- 前沿雷达专题|边缘与实时性:VLA 与世界动作模型的延迟预算花在哪里



