前沿雷达专题｜训练与自我改进：VLA 后训练的三个阶段与在线 RL 的 task collapse

从单节点半天的 SFT，到仿真和真机上的 RL 后训练，再到从部署经验中学习：9 月雷达 7 项材料勾勒出 VLA 后训练的流程，也暴露出在线 RL 会悄悄毁掉单个任务的风险。

本文基于 Physical AI 前沿雷达 2026 年 9 月的归档。雷达“训练与自我改进”主线 9 月共收录 9 条，其中 5 条是 LLM 训练或与机器人无关的文章（命中了关键词，但与具身智能无关），另有 1 条是媒体视频集锦；本文把剩下 3 篇预印本与其他主线中相关的 4 项材料放在一起看。结论是：VLA 后训练正在从“SFT 加一点 RL”变成一条分阶段的流程，研究的重点也从离线训练转向部署之后的数据回流，同时暴露出在线更新的新风险。

起点：SFT 的成本已经可以写进预算表

AWS 的 π0 微调教程（[O]，2026-09-10）给出了一组可以直接参考的数字：3B 参数的 π0，在单台 ml.p5.48xlarge（8×H100 80GB）上用 FSDP FULL_SHARD 跑 20,000 步，有效 batch 32，DROID 用时 6 小时 15 分，LIBERO 用时 6 小时 11 分，单个 checkpoint 约 45 GB。换句话说，把开源基座适配到自己的数据，已经是单节点、半天就能完成的工作。后面几个阶段比这难得多。

第二步：RL 后训练，在仿真里和在真机上

Z-1（[R]，2026-06-30，是雷达人工策展的“前沿基线”条目，不是 9 月新作）是仿真侧的参照。它以 π0.5 为基座，SFT 只用公开的 RoboCasa 演示数据，然后在 24 个标准 RoboCasa 任务上逐任务做 GRPO。为了提高在线优化的效率和稳定性，作者组合了共享前缀的 rollout 构造、树状轨迹分叉、考虑完成度的奖励校准，以及 VLM 与动作专家的选择性联合训练。最终平均成功率 80.6%，比 SFT 初始化高 13.2 个百分点，而且没有用任何私有演示。

面向高自由度灵巧手的 VLA 后训练（[R]，2026-09-17）是真机侧的代表，流程分四步。第一步学习一个时序手部动作 codec，让开源 VLA 能输出灵巧手的绝对指令。第二步 SFT。第三步 DAgger：人工接管时手势对不上会造成指令跳变，污染纠正轨迹，作者用缓冲回滚、姿态对齐和平滑指令混合来处理。第四步在真机上做 residual RL，把探索限制在 codec 所表示的协调手部动作里，避免在原始关节空间里低效探索。5 个真机任务（涵盖双手传递、手内重定向、工具使用三类）每个测 20 次，全部成功。

两者的共同点是：RL 不直接在原始动作空间上从零探索，而是先用 SFT 或 codec 把搜索空间收窄，再在里面改进。

第三步：从部署经验中学习

机器人部署之后，会自然积累成功、部分完成和失败混在一起的轨迹。PACL（[R]，2026-09-24）考虑的就是这种场景：只用自主 rollout 学习，不额外请人纠正，也不做探索性交互。直接把这些轨迹拿来做模仿学习，会强化错误行为；offline RL 又常因为奖励稀疏、数据覆盖有限而估不准价值。PACL 的做法是训练一个 chunk 级 critic，在 TD 学习中加入未来隐状态预测作为额外监督；再把 chunk 的 Q 值离散成质量条件，指导扩散 actor 区别对待不同质量的轨迹；推理时由 actor 生成多个候选动作块，critic 选出价值最高的一个。作者报告，PACL 在仿真和真机上都稳定提升了预训练策略，并优于模仿学习和 offline RL 基线，但摘要没有给出具体数字。

TRI 等的 Using Non-Expert Data to Robustify Imitation Learning via Offline RL（[R]，论文 2025-10 发布，9 月被雷达收录）是更早的同方向工作。它指出，在真实世界常见的稀疏覆盖条件下，标准 offline RL 难以利用非专家数据（play 数据、次优示教、部分完成的轨迹）；做一些简单的算法修改、扩大策略分布的支撑集之后，就能利用这些数据，让策略能够成功的初始条件范围明显扩大。这篇的摘要同样没有给出具体数字。

另一个相关的例子是 PASSAGE（[R]，人形通行，2026-09-16）：它在冻结下层 tracker 的前提下，只对上层 planner 做 RL 后训练，从而提升闭环表现，也就是只在分层系统的一层上做 RL。

风险：在线 RL 会悄悄毁掉单个任务

“部署后持续学习”听起来很自然，但 这篇关于 task collapse 的预印本（[R]，2026-09-23）给出了反面证据。作者用 450M 参数的 SmolVLA 在 LIBERO-10 上跑 PPO（SDE 采样），在相同的小算力预算下对比三种探索噪声：

探索噪声出现 task collapse 的 seed
固定噪声3 个中 2 个
ReinFlow 式学习噪声测到第 200 次迭代的每个 seed
不确定性门控控制器3 个中 0 个

task collapse 的特点是整体平均分看起来正常，个别任务的能力却已经丢失。门控控制器根据与任务无关的新颖度和能力信号，在不同任务流之间重新分配探索，不需要任务标签。作者写得很克制：在这个预算内，没有任何一组超过行为克隆基线；降低固定噪声只能减慢衰退，不能阻止。还有一个值得注意的工程细节：按参考配方用 bfloat16 训练、没有 fp32 master copy 时，动作专家 96.02% 的参数元素在连续三次迭代中逐位不变；而加上 fp32 master copy 并使用参考学习率时，在单个 seed 的观察中两个对比组都崩溃了。作者明确说，这只是和主结果并列测量到的现象，不作为因果解释。

局限 / 注意

  • 真机证据的样本量都很小：高自由度灵巧手工作每个任务测 20 次，而且限定在“报告的后训练预算内”；PACL 和 TRI 这两篇的摘要都没有给出数字。
  • Z-1 的 80.6% 和 task collapse 的结论都来自仿真（RoboCasa、LIBERO-10），后者用的还是小模型、小算力预算。
  • 所有 [R] 结果都是作者自报；AWS 教程里的训练时长只适用于文中给出的实例类型和配置。

接下来看什么

  • 部署数据回流类的工作（PACL 这一类）能否给出真机上可复现的增益数字，以及需要积累多少部署时长才看得到效果。
  • 在线 RL 微调是否会把逐任务监控当作标准做法，而不是只看总体成功率。
  • bf16 训练下参数几乎不更新的现象，能否在更大的 VLA 和其他 RL 配方中复现。

链接

相关文章