物理AI开源实战 R01|LeRobot v0.7.0:在沙箱里装好、训练两轮、看评估结果

R01:在隔离沙箱里装 LeRobot v0.7.0,在仿真 PushT 上训练 2000 步和 20000 步,评估 3 个和 10 个回合,成功 0 个和 1 个;区间大幅重叠,不能说学会了。

这一期装一个开源的机器人学习框架:LeRobot。我们用它在一个仿真的推 T 形方块(PushT)任务上训练策略,看两轮训练的评估结果,再看两段评估回放:一段成功,一段失败。这不是“学会了”的演示,它只是一次完整的流程。

本集是仿真演示,不是真机实验。所有数字来自两次训练的 train.log 和评估的 JSON。本页是图文版,由“物理AI开源实战”系列的第 1 期整理而成。

本集视频

配音由 AI 合成(Serena)。

为什么选它

LeRobot 是 Hugging Face 的机器人学习库,Apache-2.0 许可。我们用的是 v0.7.0,固定在提交 410c095e。它把数据、策略、训练和评估放在同一条命令链里。我们在沙箱里把训练和评估完整跑了一遍。

装环境

我们用 uv 装依赖,Python 版本不低于 3.12。依赖版本由仓库自带的锁文件固定,锁文件的 sha256 以 d569cc07 开头。

官方的装法是按官方安装文档安装 lerobot 本身,并带上 training、pusht、diffusion 三个额外依赖。这三组要一起装,缺任何一组,运行时会报 ImportError。

我们的沙箱出于隔离要求,另用锁文件导出依赖,并用 PYTHONPATH 指向源码目录运行。你不需要这样做,照官方方法装即可。

训练命令的三个要点

第一,push_to_hub 默认是开的,也就是训练配置要求把结果推送到 Hugging Face Hub。所以命令里必须写 --policy.push_to_hub=false。第二,--help 要先指定策略类型,才会列出完整的参数;我们先写 --policy.type=diffusion,再查参数名。第三,数据集要固定版本。lerobot/pusht 的修订号是 b1c3ecba,数据格式是 v3.0,共 206 个回合,25,650 帧。

策略和设置

策略是扩散策略(diffusion)。视觉部分用 ResNet-18,初始权重来自 ImageNet 预训练,其余部分在 PushT 数据上训练。我们没有从零训练视觉部分。两次运行的批大小都是 8,随机种子都是 1000,也就是说两次运行用的都是一个种子。

第一次:2000 步

第一次训练 2000 步,用时约 4 分 40 秒,含两次评估(第 1000 步和第 2000 步)。第 2000 步评估 3 个回合,成功 0 个。按 95% 的 Wilson 区间,这个结果的范围是 0% 到 56.2%。3 个回合没有成功,不能据此说成功率就是 0。

第 1000 步的评估是 3 个回合,平均最高值是 0.053。第 2000 步的平均最高值是 0.17。

这个指标是“把方块推进目标区域的程度”的平均最高值。每一步的奖励是覆盖率除以 0.95,截断到 0 到 1 之间。覆盖率超过 95% 就算成功,回合立即结束。所以 1 表示成功,0.96 大约对应 91% 的覆盖率,还没有成功。它不是成功率。

第一轮 2000 步的结果卡:第 2000 步评估 3 个回合成功 0 个,95% 区间 0% 到 56.2%,平均最高值 0.17(不是成功率),用时约 4 分 40 秒,含两次评估。
第一轮的结果卡,数字取自 train.log;3 个回合没有成功,不能据此说成功率就是 0。

第二次:20000 步

第二次训练 20000 步,训练约 32 分钟(不含最后一次评估;截图里进度条的 33 分 25 秒包含这次评估),在 L40S 上跑的。平均每秒约 10 步,这是我们按 20000 步除以约 1927 秒算的。

训练结束后评估 10 个回合:成功 1 个,成功率 10%,95% 区间是 1.8% 到 40.4%。平均最高值是 0.70。

评估日志节选:评估汇总行里 n_episodes 为 10,n_success 为 1,pc_success 为 10.0,pc_success_ci95 为 1.79 到 40.42,avg_max_reward 约 0.70;下面是训练 20000 步完成的日志行。
终端画面由训练日志回放节选而成:文字取自日志原文(路径已替换为通用名称),中间删去了部分行;不是屏幕录制。
训练步数评估回合成功成功率95% 区间(Wilson)平均最高值
2000300%0% 到 56.2%0.17
2000010110%1.8% 到 40.4%0.70

两次的成功率区间大幅重叠,所以不能说“从 0% 提高到了 10%”。能说的是:平均最高值从 0.17 升到 0.70,策略把方块推到目标附近的程度更高了。这是这两次运行里观察到的,不能外推到其他步数或其他种子。

两轮对比图:上方是两个成功率的 95% 区间,2000 步 0/3 为 0% 到 56.2%,20000 步 1/10 为 1.8% 到 40.4%,标注区间大幅重叠;下方是平均最高值,0.17 和 0.70,标注它不是成功率。
两轮对比:区间大幅重叠,不能说成功率从 0% 提高到了 10%;能说的是平均最高值更高。

评估回放:一次成功,一次失败

评估录了 4 段视频。第 0 段是 10 个回合里唯一成功的一次,第 1 段失败。第 2、3 段也是失败的。上面的视频里放了第 0 段和第 1 段。

7 个坑

这一期踩了 7 个坑。公开的部分讲三个:push_to_hub 默认是开的;--help 要先指定策略类型;训练和扩散策略两组依赖要一起装。其余四个是:限制出网的环境里要放行的存储域名;隔离环境里 GPU 需要的设置;两个 opencv 包互相覆盖;并行下载被代理的连接上限卡住。这四个的具体修法放在知识星球的付费内容里。

局限 / 注意

两轮训练,一个种子,两轮评估共 13 个回合(第一轮 3 个,第二轮 10 个)。结论很小:流程能跑通,数字能对上日志,但策略还不可靠。要判断它好不好用,需要更多的步数、更多的回合和更多的种子。

页面上的终端截图是训练日志的回放节选,不是屏幕录制:文字取自日志原文,路径已替换为通用名称,日志行首的时间前缀已去掉(个别行里的日期属于日志内容本身),过长的行用省略号截断,中间删去了部分行。结果卡和对比图是用实测数字画的示意。

下一期换一个仓库,用同样的方式装、跑、看。

证据清单

片中每个数字的出处如下,欢迎核对。

  • 0/3 第一次训练(2000 步):评估 3 个回合成功 0 个,95% Wilson 区间 0%–56.2%,平均最高值 0.17(第 1000 步为 0.053),用时约 4 分 40 秒,含两次评估(O · 官方一手)。来源:我们这次训练的日志(评估汇总行;日志未公开),2026-11-11
  • 1/10 第二次训练(20000 步):评估 10 个回合成功 1 个,95% Wilson 区间 1.8%–40.4%,平均最高值 0.70,训练约 32 分钟(不含最后一次评估),按 20000 步除以约 1927 秒算,平均每秒约 10 步(O · 官方一手)。来源:我们这次训练的日志(评估汇总行;日志未公开),2026-11-11
  • 410c095e LeRobot v0.7.0,提交 410c095eacc0011d998a73383eb94abed2715af0,Apache-2.0(O · 官方一手)。来源:huggingface/lerobot,2026-11-05
  • b1c3ecba 数据集 lerobot/pusht,修订 b1c3ecbae7f244acc039a3dbc255a00dad1372b9(206 个回合,25,650 帧)(O · 官方一手)。来源:Hugging Face 数据集 lerobot/pusht,2026-01-29
  • d569cc07 锁文件 sha256 的前 8 位(O · 官方一手)。来源:LeRobot v0.7.0 仓库自带的锁文件,2026-11-05
  • 0.95 平均最高值的定义:每一步奖励 = 覆盖率 ÷ 0.95,截断到 0–1,覆盖率超过 95% 算成功(O · 官方一手)。来源:PushT 环境 gym-pusht 的源码,2026-10-12
  • 8 · 1000 批大小 8,随机种子 1000(两次运行相同,只用一个种子)(O · 官方一手)。来源:我们这次训练的配置(train_config.json;未公开),2026-11-11
  • 日志回放 片中终端是两次训练日志的节选回放,不是屏幕录制;路径已替换,时间按日志重建(O · 官方一手)。来源:本集制作说明,2026-11-13