在真机上比较两个机器人操作策略，最贵的是 rollout 本身：能跑的次数很少，结论却要拿来判断模型是否进步。丰田研究院（TRI）研究页面收录的论文 Beyond Binary Success（arXiv 2603.13616，v1 提交于 2026-03-13，证据等级 [R]）提出一种基于 safe, anytime-valid inference（SAVI）的序贯对比方法：评测随试验逐步进行，统计证据足够时即可提前停止，同时保持预先设定的置信水平。它不限于二元成功率，也适用于任务进度、episode 回报和轨迹平滑度等指标。
要解决的问题：真机 rollout 太少
论文摘要的出发点是：通用机器人操作策略越来越强，但评测仍然只能依靠少量真机 rollout。作者认为，这一资源约束同时提出了两个要求：一是信息量更大的性能指标，二是可靠而高效的评测流程，只有两者兼备，才能恰当地评估模型能力、衡量领域进展。
这篇论文把两个要求放在同一个框架里处理：同一套检验流程既要节省试验次数，又要能处理比“成功/失败”更细的指标。摘要称该框架样本高效、统计严格，并适用于实践中使用的一大类评测指标。
方法：序贯检验，证据够了就停
摘要把新方法与两类已有做法对比。一类是“标准批量方法”（standard batch methods），与序贯方法相对，指先定好评测次数、全部跑完再检验的做法；另一类是此前为二元成功率设计的序贯方法。SAVI 方法本身是序贯的：评测者不必先跑满固定次数，而是在累积的统计证据足以在预设置信水平下做出判断时停止。
摘要没有给出具体的检验统计量、停止规则或所用的置信水平数值。想在自己的评测流程里使用它，需要读论文全文（arXiv 页面标注为 12 + 9 页、2 + 5 张图）。
不止成功/失败：适用的指标
作者强调，此前的工作是为二元成功率开发的，而他们的统一方法覆盖更广的指标范围，并同时涵盖参数化与非参数化的对比问题。摘要列出的例子如下：
| 取值类型 | 摘要中的例子 |
|---|---|
| 二元 | 成功 / 失败（以往序贯方法的适用范围） |
| 离散 | 按部分完成给分的任务进度（partial credit task progress） |
| 连续 | episode 回报、轨迹平滑度 |
对于已经在记录任务阶段或回报的团队，这意味着这些记录不必在对比时被压缩成一个成功率再做检验。
作者报告的结果
作者在仿真和真机评测数据上做了验证，报告了以下结果，均出自论文摘要：
- 与标准批量方法相比，评测负担最多减少 70%。
- 与面向二元结果的最新序贯方法相比，评测负担最多减少 50%。
- 以上节省“没有损失统计严格性”。
- 用细粒度的任务进度指标，比用二元成功率能更快地区分两个相互竞争的策略。
最后一点对评测设计最有参考价值：二元成功率丢掉了“做到了哪一步”的信息，作者的结果表明，在样本很少时，保留这部分信息能让对比更早得出结论。本站此前的《前沿雷达专题｜仿真与评测：VLA 评测在初始状态成功率之外缺了什么》也收录了这篇论文，本文是对它的单篇展开。
局限 / 注意
- 这是 arXiv 预印本（分类 cs.RO，交叉 stat.AP），arXiv 页面没有标注发表的会议或期刊。上面所有数字都是作者报告的结果，本文依据的材料里没有独立复现。
- 70% 和 50% 都是“最多”，即最好情况下的节省；摘要没有给出平均节省幅度，也没有说明在哪些任务、哪些策略、多少次 rollout 的条件下取得。
- “统计严格”是在论文自身的假设下成立的，摘要没有列出这些假设；实际使用前应核对自己的数据是否满足。
- 任务进度的分级标准需要人为定义，不同定义下的结论能否互相比较，摘要没有讨论。
- 本文依据的材料中没有代码仓库链接，能否直接复用实现尚不清楚。
链接
- TRI 研究页面：Beyond Binary Success
- arXiv 2603.13616：Beyond Binary Success: Sample-Efficient and Statistically Rigorous Robot Policy Comparison（作者：David Snyder、Apurva Badithela、Nikolai Matni、George Pappas、Anirudha Majumdar、Masha Itkina、Haruki Nishimura）
- DOI 10.48550/arXiv.2603.13616
