本文基于 Physical AI 前沿雷达 2026 年 9 月的归档。雷达的“边缘与实时性”主线把一个约束写得很直接：超出实时预算的模型进不了控制回路。9 月的变化是，延迟不再只出现在论文附录里，越来越多的 VLA 和世界动作模型（WAM）论文把毫秒数、控制频率和目标硬件当作主要结果来报告。本文把这些数字放在一起，看延迟预算花在了哪里、哪些省法有效，以及哪些证据还不够。
一张不能直接横比的延迟表
下表列出本文用到的各项工作自报的延迟或频率。硬件、分辨率、模型规模各不相同，只能看数量级，不能直接比较高低。
| 工作 | 证据 | 硬件 | 报告的延迟 / 频率 |
|---|---|---|---|
| Cosmos 3 Edge（4B） | [O] | Jetson AGX Thor T5000 | 约 1.53 s 生成一个 32 步动作块（15 Hz） |
| Rolling-WAM | [R] | A100 | 每个重规划周期 215 ms（Joint-WAM 为 978 ms） |
| Decoupled Early Exits（π0.5，LIBERO） | [R] | A100 40GB | 0.537 s → 0.095 s |
| OpenVLA-OFT（BF16，VLAQuantBench 实测） | [R] | RTX 4090（batch size 1） | 完整推理 139.9 ms |
| Agile-WAM | [R] | 摘要未说明 | 11.9 ms |
| PASSAGE（人形通行） | [R] | Jetson AGX Orin | 规划 6.25 Hz，控制 50 Hz |
预算怎么花：动作块和重规划周期
当单次推理远慢于控制频率时，常见的做法是一次生成一段动作块，边执行边准备下一块。NVIDIA 的 Cosmos 3 Edge 后训练教程（[O]，2026-08-19，雷达“前沿基线”条目）给出了一个完整的端侧例子：4B 参数的 omni 模型（内含 2B 的 Nemotron 推理器），BF16 下约 9 GB，完整装进 Jetson AGX Thor 的板载内存。它一次生成 32 步动作，按 15 Hz 执行约可覆盖 2.13 秒，而生成一块约需 1.53 秒，所以下一块能在当前块执行完之前就绪，控制回路里不需要数据中心 GPU。代价是能力：在 RoboLab（基于 Isaac Lab-Arena）的 120 个语言条件操作任务上做仿真闭环评测，Edge 版成功率 22.9%，算力需求更大的 Nano 版是 36.8%。另外，文中的示例代码每块只执行前 16 步就重规划，按 15 Hz 算约 1.07 秒，比 1.53 秒的生成时间短，这两者如何衔接，文中没有解释。
WAM 的问题更严重，因为每次重规划都要把视频和动作联合去噪一遍。Rolling-WAM（[R]，2026-09-24）维护一个滑动窗口，窗口里的各个视频-动作块处在不同的噪声水平上：每一步只把马上要执行的那一块完全去噪，更远的块只做部分去噪，等新观测到来后继续。这样一来，A100 上每个重规划周期从 Joint-WAM 的 978 ms 降到 215 ms（约 4.5 倍），比 Fast-WAM 的 548 ms 快约 2.5 倍。成功率没有因此下降：LIBERO 平均 98.1%（Joint-WAM 为 98.5%），Unitree G1 真机平均 85.0%（Joint-WAM 为 78.3%，π0.5 为 61.7%）。
PASSAGE（[R]，arXiv 2609.18732）是分层方案的例子：flow matching planner 以 6.25 Hz 生成参考轨迹，全身 tracker 以 50 Hz 执行，两者都跑在 Jetson AGX Orin 上，靠 real-time chunking 保证块与块之间的连贯。
砍计算的三条路
减少深度和去噪步数。Decoupled Early Exits（[R]，2026-09-24）把 VLM 骨干深度 V、动作专家深度 A 和去噪步数 D 当作三个可以联合调节的旋钮，在两个模型（SmolVLA、π0.5）和两个基准（LIBERO、Meta-World）上平均降低 79.2% 的延迟和 31.8% 的 FLOPs，平均成功率提高 5.6%（摘要没有说明是相对值还是百分点），每个退出点只增加 2.1%（SmolVLA）或 4.1%（π0.5）的参数。看论文的配置表会发现，最佳配置都把去噪步数从 10 降到了 2 或 3，而作者自己的分析也说 D 同时改善 FLOPs 和延迟，所以相当一部分收益可能来自少走几步去噪，而不是早退本身。作者的另一个发现是最优配置因任务而异，没有一个通用的最佳设置。
跨执行缓存。rMuscle（[R]，2026-09-16）利用工厂工位上重复执行带来的相似性：Context Cache 复用视觉 token 输出，Action Cache 复用神经元激活模式以减少权重访问。在 RTX 4090 和 Jetson Thor 上加速 1.29–1.42 倍，真机成功率不变。幅度不大，但不需要改模型，也可以和其他方法叠加。
专用小模型。Agile-WAM（[R]，2026-09-17）不用大规模预训练的生成式骨干，而是把视觉和触觉编码到共享隐空间，直接做 flow matching；视觉隐变量按较大的时间间隔预测，触觉隐变量则预测下一帧，以跟上接触时的突变。在 5 个真机接触密集任务上，总体成功率相对提升 29.4%，推理延迟 11.9 ms。
量化省内存，但不一定省时间
VLAQuantBench（[R]，2026-09-21）的实测内核结果值得部署团队注意。对 OpenVLA-OFT 的 LLM 部分：BF16 占 15.0 GiB、完整推理 139.9 ms；AWQ 把内存降到 6.1 GiB，但延迟变成 181.1 ms；NF4 为 6.3 GiB、152.6 ms；LLM.int8() 为 9.0 GiB、379.5 ms。作者的原话是，所有测试的量化路径都降低了峰值内存，但都比 BF16 慢。真机上，W4 让 OpenVLA-OFT 抓取任务的成功率从 88.0% 掉到 54.0%，W8A8 保持在 86.0%。所以在 Orin、Thor 这类内存受限的板子上，量化首先解决的是“能不能装下”，不是“能不能更快”；要变快，得有对应精度的高效内核。
控制回路旁的轻量模块
不是所有端侧模块都是策略本身。移动机器人在线故障检测（[R]，2026-09-24）用时序基础模型 TSPulse 离线生成伪标签，蒸馏出一个 MiniRocket 学生模型，再配上递推最小二乘做在线自适应；CPU 上单次推理 4.30 ms，遇到真实的机械退化时，VUS-PR 从 0.26 升到 0.75。Albireo（[R]，2026-08-29）为每个目标维护一个卡尔曼滤波器，只在预测不确定性超过阈值时才调用检测器。在 Jetson AGX Thor 和 Orin 上，它把 AP@50 控制在逐帧推理的 ±1.2 个百分点以内，总能耗降低 12.1%–17.6%；作为对照，固定每隔一帧跳过的做法会损失 8.6 个百分点的 AP@50。这两项都说明，在端侧，“什么时候不必算”和“算得多快”同样重要。
局限 / 注意
- 表中的数字来自不同硬件（A100、RTX 4090、Jetson Thor、Jetson Orin、CPU）和不同分辨率，不能横比；只有 Cosmos 3 Edge、PASSAGE、rMuscle 和 Albireo 报告了 Jetson 上的结果。
- Decoupled Early Exits 没有真机实验；Rolling-WAM 的 215 ms 是在 A100 上测的，端侧表现未知；Agile-WAM 的摘要没有说明测延迟用的硬件。
- Cosmos 3 Edge 是厂商教程，22.9% 是仿真闭环成功率，而且示例代码的执行步数和生成时间之间的衔接没有说明。
- 所有 [R] 结果都是作者自报的预印本。
接下来看什么
- WAM 能否在 Jetson 级硬件上把重规划周期压到数百毫秒以内，同时保住真机成功率。
- VLA 常用精度（W4、W8A8）下能否出现成熟的端侧内核，让量化同时省内存和省时间。
- 论文能否统一报告“硬件 + 分辨率 + 每周期延迟 + 控制频率”这一组数字，让结果可以横向比较。
链接
- Physical AI 前沿雷达
- Post-train NVIDIA Cosmos 3 Edge for On-Device Robot Control（NVIDIA）
- Rolling-WAM（arXiv 2609.30247）
- PASSAGE（arXiv 2609.18732）
- Decoupled Early Exits（arXiv 2609.29382）
- rMuscle（arXiv 2609.19104）
- Agile-WAM（arXiv 2609.20761）
- VLAQuantBench（arXiv 2609.25376）
- Continuous Online Fault Detection（arXiv 2609.29194）
- Albireo（arXiv 2609.29648）
