本文基于 Physical AI 前沿雷达 2026 年 9 月的归档。在雷达的八条主线里，“仿真与评测”是 9 月收录条目最多的一条，仅 W39 一周就有 11 条。剔除 LLM 评测文章和误归条目后，剩下的论文和官方文档都在回答同一个问题：LIBERO 上 95% 以上的成功率到底说明了什么，还缺哪些测量。
趋势：初始状态成功率不够用了
目前 VLA 论文的主要指标，是从预设初始状态出发、跑完整条轨迹后的成功率。9 月的几项工作从四个方向补充这个指标：一是测执行偏离之后能不能恢复，二是在真机预算有限时怎样用更少的试验得到统计上站得住的结论，三是量化等部署变换之后闭环表现还剩多少，四是仿真器本身是否忠实于策略实际依赖的特征。
恢复能力：RoboRecover
RoboRecover（[R]，2026-09-24）的做法是：从真实执行轨迹中选出偏离状态，通过重放动作前缀把场景重建出来，再让策略继续完成原任务。基准共 2,000 个场景，RoboTwin 和 LIBERO 各 1,000 个，各自固定 800/200 的训练/测试划分。论文正文里的数字很说明问题：
| 平台 | 策略 | 初始状态成功率 | 恢复成功率 |
|---|---|---|---|
| LIBERO | UnifoLM | 98.83% | 48.00% |
| LIBERO | π0.5 | 94.17% | 64.40% |
| LIBERO | π0 | 85.17% | 37.80% |
| RoboTwin | LingBot-VA | 83.75% | 59.50% |
| RoboTwin | X-VLA | 54.33% | 49.83% |
初始状态成功率排第一的策略，恢复成功率并不最高；各策略的降幅从 4.5 到 50.83 个百分点不等。还有一个细节：偏离往往是某个策略自己造成的，而这个策略从自己造成的偏离中恢复的成功率在 RoboTwin 上只有 15.24%–19.82%，换一个策略反而能达到 58.06%–70.27%。作者用训练划分试了两种干预：监控触发回退让 π0.5 在 LIBERO 上的恢复成功率从 64.4% 升到 77.0%，纠正模型达到 75.5%。
真机评测样本太少：序贯检验与数据切分
Beyond Binary Success（[R]，TRI 等作者，论文 2026-03 发布，9 月被雷达收录）针对的是真机评测的现实约束：每个策略只能跑几十次。方法基于 safe anytime-valid inference 做序贯检验，评测者可以在证据足够时提前停止，同时保持预先设定的置信水平；它适用的指标不限于二元成功率，也包括分级的任务进度、episode 回报和轨迹平滑度。作者在仿真和真机数据上验证：与标准批量方法相比，评测量最多减少 70%；与面向二元结果的序贯方法相比，最多减少 50%。细粒度的进度指标比二元成功率更快区分出策略优劣，这一点和 RoboRecover 的看法一致：一个总分不足以描述策略行为。
数据切分的纪律同样影响结论。AWS 的 π0 微调教程（[O]，2026-09-10）主动说明，早期版本报告的约 96% 改善，是因为评测 episode 和训练集重叠；在训练端和评测端都严格执行切分后，这个数字降到约 89%（DROID 上 MSE 降低 89.7%，LIBERO-10 上降低 88.9%）。需要注意，这里测的是离线动作 MSE，不是闭环成功率，而且两个数据集各自只留出 5 个 episode 做评测。
部署变换之后：VLAQuantBench
评测的对象应当是实际部署的那个版本。VLAQuantBench（[R]，2026-09-21）一共做了 409 组实验、94,574 个仿真 episode，覆盖 OpenVLA-OFT、π0、π0.5、X-VLA 四个模型。几个关键结果：
- 对 π0.5 做未校准的 W4A4 round-to-nearest 量化时，动作头保护的层数从 126 层扩大到 167 层，成功率就从 7.0% 跳到 70.5%。
- 只用两个 episode 做校准，就能消除所测子集上的严重失效；但同一套 smoothing-and-clipping 配方会降低 π0 的成功率，对 OpenVLA-OFT 也无法恢复端到端表现。
- 对 OpenVLA-OFT，只需保护一个 28,672 参数的输出投影层，成功率就能恢复到接近基线。
- Franka Research 3 真机上每个条件跑 50 次：OpenVLA-OFT 的抓取任务在 BF16 下成功率为 88.0%，W8A8 为 86.0%，W4 降到 54.0%，W3 只有 12.0%。
作者的结论是，这些结果只说明精度配置和配方之间存在相互作用，不能推出通用的“哪些层敏感”规则。换句话说，别人的量化配方不能直接拿来用，每个模型都要自己跑一遍闭环验证。
仿真器本身：保真度与基础设施
DreamStream（[R]，2026-09-22，自动驾驶）指出，FID 这类感知指标会把“是否保留了策略依赖的场景特征”排错序。作者提出 FDπ，用公开端到端驾驶策略的场景上下文特征计算 Fréchet 距离。按 FDπ 衡量，DreamStream 比此前最强的闭环仿真器在 nuScenes 上好 1.6 倍，在 NAVSIM 上好 4.7 倍。基于它构建的 Navhard-CL 基准，暴露出打分器偏差、缺少恢复行为等此前闭环基准没有发现的失效模式。这个结论来自驾驶领域，但“用策略特征而不是像素逼真度衡量仿真保真度”的思路同样适用于机械臂。
工具层面，NVIDIA 的两份一手文档把评测做成了可复用的工程流程。Isaac Lab-Arena（[O]）把场景、物体、本体、任务拆成独立模块，支持子任务进度跟踪和扰动敏感性分析；文档给出的一个初步基准是单 GPU 上 1,024 个并行环境跑到 2,390 environment-steps/s，测试过的版本是 release/0.3.0。MjWarp 迁移教程（[O]，Hugging Face Blog，2026-09-23）以 SO-101 叠方块任务为例分五步推进：先在 CPU 上建立 MuJoCo 基线，再验证单 world 在 GPU 上的一致性，接着设定接触和约束缓冲区容量，然后扩展到 2,048 个并行 world，最后测吞吐；文中刻意没有给吞吐数字，理由是结果取决于场景、仿真设置和硬件。
局限 / 注意
- 除 VLAQuantBench 的真机表格和 Beyond Binary Success 的部分数据外，本文的数字主要来自 LIBERO、RoboTwin 等仿真基准，而这些基准的初始状态成功率已经接近饱和。
- 所有 [R] 数字都是作者自报预印本；RoboRecover 的偏离状态来自重放动作前缀，与真实世界的扰动分布是否一致，还有待验证。
- Isaac Lab-Arena 的吞吐数字作者自己标注为初步结果，文档主分支也注明尚未完全测试。
- DreamStream 的结论只在驾驶数据集上验证过。
接下来看什么
- 新的 VLA 论文会不会在初始状态成功率之外，同时报告恢复成功率或分级进度指标。
- 量化、蒸馏之后的闭环验证能否成为发布模型时的标配，而不只是附录里的一张表。
- 序贯检验能否进入主流评测框架，让“每个任务跑 20 次”这类结论附带置信水平。
