本页公开的是物理AI实验室课程 3.3 的自测实验结果:同一个任务、同一套评测协议,比较“初始策略”和“在它基础上用 PPO 接着练”的结果,3 个训练种子。这是课程自己在 2026-09-28 跑出来的仿真实验,不是真机结果。
- 复现脚本(run_experiment.sh、summarize.py)和原始评测日志、逐种子 JSON 没有公开,本页只给出汇总结果,读者目前无法按本页自行复现。
- 环境:Isaac Lab 3.0.0-beta2(源码 99f1423)、Isaac Sim 6.0.1、RSL-RL,NVIDIA L40S,Linux x86_64。Isaac Lab 3.0.0 正式版已于 2026-10-20 发布,本页的数字来自上面这个旧版本。
- 证据级别:O 级(本课程自测)。
协议(跑之前定的)
| 项 | 设定 |
|---|---|
| 任务 | Isaac-Velocity-Flat-Anymal-D-v0:四足机器人在平地上跟踪随机给定的速度指令 |
| 初始策略 | 从零训练 30 轮 PPO(4096 个并行环境)。真实项目里初始策略来自示范或蒸馏,这里用“练得还不够”的策略代替 |
| 后训练 | 从初始策略的检查点接着训练 120 轮 PPO,其他设置不变 |
| 训练种子 | 1、2、3,每个种子各得一个初始策略和一个后训练策略 |
| 评测 | 评测种子 100(与训练种子不同),1024 个并行环境,每个策略至少 2048 个完整回合 |
| 成功 | 回合跑满时间上限、没有摔倒(time_out);摔倒(base_contact 等终止)算失败 |
| 另报 | 平均回合回报:速度跟踪得越好越高 |
结果
| 训练种子 | 初始 成功率 [Wilson 95%] | 后训练 成功率 [Wilson 95%] | 初始 平均回报 | 后训练 平均回报 |
|---|---|---|---|---|
| 1 | 34.7% [32.7%, 36.8%](711/2049) | 74.7% [72.9%, 76.5%](1621/2169) | 3.01 | 18.26 |
| 2 | 70.8% [68.9%, 72.6%](1589/2245) | 87.6% [86.2%, 89.0%](1815/2071) | 4.76 | 21.63 |
| 3 | 80.3% [78.6%, 82.0%](1711/2130) | 96.9% [96.0%, 97.5%](1987/2051) | 5.31 | 23.04 |
跨 3 个训练种子(t 分布 95% 区间):
- 平均回报:4.36 → 20.97,配对提升 16.61(95% CI 13.48 – 19.74),区间不含 0。
- 成功率:61.9% → 86.4%,配对提升 24.5 个百分点,但 95% CI −9.0% – 57.9%,含 0。
- 3 个种子里,成功率和回报都提升。
结论与口径
- 判据(2026-10-01 修订):本实验是配对设计(每个训练种子各有一对初始/后训练策略),按本集 checks 看跨种子配对差值的 95% 置信区间是否含 0;两组各自的区间重不重叠不作为判据。
- 回报:配对差值区间 13.48 – 19.74,不含 0,提升成立。
- 成功率:配对差值区间 −9.0% – 57.9%,含 0,按判据记为证据不足。方向一致(3 个种子都提升),但只有 3 个种子、初始策略之间差得很远(35% 到 80%),区间很宽,不能说“平均提升 24.5 个百分点”有多精确。要更有把握,得加训练种子数,而不是加评测回合数。
- 每个种子内部的 Wilson 区间(例如种子 1:[32.7%, 36.8%] 对 [72.9%, 76.5%])只说明单个种子内评测回合够多、估计够准,不代表跨种子的提升。
- 这里的“初始策略”是练得不够的 PPO 策略,不是示范或蒸馏得到的学生;“后训练”就是接着练。它能说明“在已有策略上继续 RL 能变好、要用多种子报告”,不能直接代表 VLA 的 RL 后训练(片中 π*0.6、HIL-SERL 那类)。
- 全部是仿真结果。迁到真机还要跨 sim2real(2.5 集)。
- 本集 checks 的第二条“能定性看到策略更会补救”这次没有量化:摔倒率下降是间接证据,但没有逐回合标注“补救动作”。
