フロンティア・レーダー特集｜学習と自己改善：VLA ポストトレーニングの 3 つの段階とオンライン RL の task collapse

本記事は Physical AI レーダーの 2026 年 9 月のアーカイブをもとにしています。レーダーの「学習と自己改善」テーマには 9 月に計 9 件が収録されましたが、そのうち 5 件は LLM の学習やロボットと無関係な記事（キーワードには一致したものの、身体性AI とは無関係）で、ほかに 1 件はメディアの動画まとめでした。本記事では、残る 3 本のプレプリントと、他のテーマに含まれる関連資料 4 件をあわせて見ていきます。結論として、VLA のポストトレーニングは「SFT に少し RL を足す」ものから段階的なパイプラインへと変わりつつあり、研究の重点もオフライン学習からデプロイ後のデータ還流へと移っています。同時に、オンライン更新に伴う新たなリスクも明らかになっています。

出発点：SFT のコストはすでに予算表に書き込める

AWS の π0 ファインチューニングのチュートリアル（[O]、2026-09-10）は、そのまま参考にできる数字を示しています。3B パラメータの π0 を、1 台の ml.p5.48xlarge（8×H100 80GB）上で FSDP FULL_SHARD により 20,000 ステップ学習し、実効バッチサイズは 32、所要時間は DROID で 6 時間 15 分、LIBERO で 6 時間 11 分、チェックポイント 1 つは約 45 GB です。言い換えれば、オープンソースの基盤モデルを自分のデータに適応させる作業は、すでに 1 ノード・半日で終えられるものになっています。この後の段階は、これよりはるかに難しくなります。

第 2 段階：RL によるポストトレーニング、シミュレーションと実機で

Z-1（[R]、2026-06-30。レーダーが人手でキュレーションした「フロンティア・ベースライン」項目で、9 月の新作ではありません）は、シミュレーション側の参照例です。π0.5 を基盤とし、SFT には公開されている RoboCasa のデモデータだけを使い、その後 24 の標準 RoboCasa タスクでタスクごとに GRPO を行います。オンライン最適化の効率と安定性を高めるため、著者らは共有プレフィックスによる rollout の構築、木構造の軌道分岐、完了度を考慮した報酬の較正、VLM とアクションエキスパートの選択的な同時学習を組み合わせました。最終的な平均成功率は 80.6% で、SFT による初期化より 13.2 ポイント高く、非公開のデモは一切使っていません。

高自由度の多指ハンド向け VLA ポストトレーニング（[R]、2026-09-17）は実機側の代表例で、手順は 4 段階です。第 1 段階では時系列の手の動作 codec を学習し、オープンソースの VLA が多指ハンドの絶対指令を出力できるようにします。第 2 段階は SFT です。第 3 段階は DAgger です。人が介入する際に手の姿勢が合っていないと指令が急に跳び、修正軌道が汚染されるため、著者らはバッファのロールバック、姿勢の位置合わせ、指令の滑らかなブレンドで対処しています。第 4 段階では実機で residual RL を行い、探索を codec が表現する協調した手の動作の範囲に限定することで、生の関節空間での非効率な探索を避けています。5 つの実機タスク（両手での受け渡し、手内での向き変え、道具の使用の 3 種類）で各 20 回試行し、すべて成功しました。

両者に共通するのは、RL が生の行動空間でゼロから探索するのではなく、まず SFT や codec で探索空間を絞り込み、その中で改善している点です。

第 3 段階：デプロイ経験から学ぶ

ロボットをデプロイすると、成功、部分的な達成、失敗が混ざった軌道が自然にたまっていきます。PACL（[R]、2026-09-24）が想定しているのはまさにこの状況で、自律的な rollout だけから学習し、人による追加の修正も探索的なインタラクションも行いません。これらの軌道をそのまま模倣学習に使うと誤った行動を強化してしまい、offline RL は報酬の疎さやデータのカバー範囲の狭さのために、価値を正しく推定できないことがよくあります。PACL は、TD 学習に将来の潜在状態の予測を追加の教師信号として加えたチャンク単位の critic を学習します。さらにチャンクの Q 値を離散化して品質条件とし、拡散モデルの actor が品質の異なる軌道を区別して扱えるようにします。推論時には actor が複数の候補アクションチャンクを生成し、critic が最も価値の高いものを選びます。著者らは、PACL がシミュレーションと実機の両方で事前学習済み方策を安定して改善し、模倣学習と offline RL のベースラインを上回ったと報告していますが、アブストラクトには具体的な数字が示されていません。

TRI などによる Using Non-Expert Data to Robustify Imitation Learning via Offline RL（[R]、論文の公開は 2025-10、レーダーへの収録は 9 月）は、同じ方向の先行研究です。現実世界でよくあるカバー範囲の疎な条件では、標準的な offline RL は非エキスパートのデータ（play データ、最適でないデモ、部分的に達成された軌道）をうまく活用できないと指摘しています。いくつかの簡単なアルゴリズムの修正で方策分布のサポートを広げると、これらのデータを活用できるようになり、方策が成功できる初期条件の範囲が大きく広がります。この論文も、アブストラクトには具体的な数字がありません。

もう 1 つの関連例が PASSAGE（[R]、ヒューマノイドの通行、2026-09-16）です。下位の tracker を固定したまま上位の planner だけに RL によるポストトレーニングを行い、閉ループでの性能を高めています。つまり、階層型システムの 1 つの層だけで RL を行っています。

リスク：オンライン RL は個別のタスクをひそかに壊す

「デプロイ後も学習し続ける」ことは自然に聞こえますが、task collapse に関するこのプレプリント（[R]、2026-09-23）は反対の証拠を示しています。著者らは 450M パラメータの SmolVLA を使って LIBERO-10 上で PPO（SDE サンプリング）を実行し、同じ小さな計算予算のもとで 3 種類の探索ノイズを比較しました。

探索ノイズ	task collapse が起きた seed
固定ノイズ	3 つ中 2 つ
ReinFlow 型の学習ノイズ	第 200 イテレーションまで測定したすべての seed
不確実性ゲート付きコントローラー	3 つ中 0

task collapse の特徴は、全体の平均スコアは正常に見えるのに、個別のタスクの能力がすでに失われていることです。ゲート付きコントローラーは、タスクに依存しない新規性と能力のシグナルにもとづいて、タスクのストリーム間で探索を配分し直すもので、タスクラベルを必要としません。著者らの書き方は抑制的です。この予算の範囲では、どの設定も行動クローニングのベースラインを上回らず、固定ノイズを小さくしても劣化を遅らせるだけで、止めることはできませんでした。工学的に注目すべき細部もあります。参照レシピどおりに bfloat16 で学習し、fp32 のマスターコピーを持たない場合、アクションエキスパートのパラメータ要素の 96.02% が、連続する 3 回のイテレーションでビット単位で変化しませんでした。一方、fp32 のマスターコピーを加えて参照学習率を使った場合は、1 つの seed での観察で、2 つの比較グループがどちらも崩壊しました。著者らは、これは主な結果と並行して測定された現象にすぎず、因果的な説明とはしないと明言しています。

制約と注意点

実機の証拠はいずれもサンプル数が少ないものです。高自由度の多指ハンドの研究は各タスク 20 回の試行で、しかも「報告されたポストトレーニング予算の範囲内」に限られます。PACL と TRI の 2 本は、どちらもアブストラクトに数字がありません。
Z-1 の 80.6% も task collapse の結論もシミュレーション（RoboCasa、LIBERO-10）によるもので、後者は小さなモデルと小さな計算予算を使っています。
[R] の結果はすべて著者の自己申告です。AWS のチュートリアルにある学習時間は、記事で示されたインスタンスタイプと設定にのみ当てはまります。

今後の注目点

デプロイデータを還流させる研究（PACL のようなもの）が、実機で再現可能な改善の数字を示せるか。また、効果が見えるまでにどれだけのデプロイ時間の蓄積が必要か。
オンライン RL によるファインチューニングで、全体の成功率だけを見るのではなく、タスクごとのモニタリングが標準的なやり方になるか。
bf16 学習でパラメータがほとんど更新されない現象が、より大きな VLA や他の RL レシピでも再現されるか。