本記事は Physical AI レーダー の 2026 年 9 月のアーカイブをもとにしています。レーダーの 8 つのテーマのうち、9 月に収録された項目が最も多かったのが「シミュレーションと評価」で、W39 の 1 週間だけで 11 件ありました。LLM の評価に関する記事と誤分類された項目を除くと、残った論文と公式ドキュメントはいずれも同じ問いに答えようとしています。LIBERO での 95% 以上の成功率は実際に何を示しているのか、そしてどのような測定が欠けているのか、という問いです。
傾向：初期状態成功率だけでは足りなくなった
現在の VLA 論文の主な指標は、あらかじめ決めた初期状態から軌道全体を実行した後の成功率です。9 月のいくつかの研究は、この指標を 4 つの方向から補っています。1 つ目は実行が逸脱した後に回復できるかの測定、2 つ目は実機の予算が限られるなかで、より少ない試行で統計的に確かな結論を得る方法、3 つ目は量子化などのデプロイ時の変換を経た後に閉ループ性能がどれだけ残るか、4 つ目はシミュレーター自体が、方策が実際に依存している特徴に忠実かどうかです。
回復能力：RoboRecover
RoboRecover（[R]、2026-09-24）の方法は次のとおりです。実際の実行軌道から逸脱した状態を選び、行動のプレフィックスを再生してシーンを再構築し、方策に元のタスクの続きを実行させます。ベンチマークは計 2,000 シーンで、RoboTwin と LIBERO がそれぞれ 1,000 シーン、いずれも 800/200 の学習/テスト分割に固定されています。論文本文の数字は多くを物語っています。
| プラットフォーム | 方策 | 初期状態成功率 | 回復成功率 |
|---|---|---|---|
| LIBERO | UnifoLM | 98.83% | 48.00% |
| LIBERO | π0.5 | 94.17% | 64.40% |
| LIBERO | π0 | 85.17% | 37.80% |
| RoboTwin | LingBot-VA | 83.75% | 59.50% |
| RoboTwin | X-VLA | 54.33% | 49.83% |
初期状態成功率が 1 位の方策が、回復成功率でも最も高いわけではありません。各方策の低下幅は 4.5 から 50.83 ポイントまでさまざまです。もう 1 つ細かい点があります。逸脱はある方策自身が引き起こしたものであることが多く、その方策が自分の引き起こした逸脱から回復する成功率は、RoboTwin では 15.24%–19.82% にすぎません。一方、別の方策に替えると 58.06%–70.27% に達します。著者らは学習分割を使って 2 種類の介入を試しました。モニタリングをトリガーにしたフォールバックでは、LIBERO での π0.5 の回復成功率が 64.4% から 77.0% に上がり、修正モデルでは 75.5% になりました。
実機評価のサンプルが少なすぎる：逐次検定とデータ分割
Beyond Binary Success（[R]、TRI などの著者、論文の公開は 2026-03、レーダーへの収録は 9 月）が対象とするのは、実機評価の現実的な制約、つまり 1 つの方策につき数十回しか試行できないことです。手法は safe anytime-valid inference にもとづく逐次検定で、評価者は証拠が十分になった時点で評価を早期に打ち切りつつ、事前に定めた信頼水準を保てます。適用できる指標は二値の成功率に限らず、段階的なタスク進捗、episode のリターン、軌道の滑らかさも含みます。著者らはシミュレーションと実機のデータで検証し、標準的なバッチ手法と比べて評価量を最大 70%、二値結果向けの逐次手法と比べて最大 50% 削減できることを示しました。細かい進捗指標は二値の成功率よりも早く方策の優劣を区別できます。これは、1 つの総合スコアでは方策の振る舞いを十分に記述できないという RoboRecover の見方と一致します。
データ分割の規律も結論を左右します。AWS の π0 ファインチューニングのチュートリアル（[O]、2026-09-10）は、初期のバージョンで報告していた約 96% の改善は、評価 episode が学習セットと重複していたためだと自ら説明しています。学習側と評価側の両方で分割を厳密に適用すると、この数字は約 89% に下がりました（DROID で MSE が 89.7% 減、LIBERO-10 で 88.9% 減）。ここで測っているのはオフラインの行動 MSE であって閉ループの成功率ではなく、しかも 2 つのデータセットでそれぞれ 5 episode しか評価用に残していない点に注意が必要です。
デプロイ時の変換の後：VLAQuantBench
評価の対象は、実際にデプロイするバージョンであるべきです。VLAQuantBench（[R]、2026-09-21）は計 409 組の実験、94,574 のシミュレーション episode を行い、OpenVLA-OFT、π0、π0.5、X-VLA の 4 モデルをカバーしています。主な結果は次のとおりです。
- π0.5 にキャリブレーションなしの W4A4 round-to-nearest 量子化を適用する場合、アクションヘッドで保護する層を 126 層から 167 層に広げるだけで、成功率が 7.0% から 70.5% に跳ね上がりました。
- 2 episode だけでキャリブレーションすれば、測定したサブセットでの深刻な失敗を解消できます。ただし、同じ smoothing-and-clipping のレシピは π0 の成功率を下げ、OpenVLA-OFT ではエンドツーエンドの性能を回復できませんでした。
- OpenVLA-OFT では、28,672 パラメータの出力射影層を 1 つ保護するだけで、成功率がベースライン近くまで回復します。
- Franka Research 3 の実機で条件ごとに 50 回試行しました。OpenVLA-OFT の把持タスクの成功率は、BF16 で 88.0%、W8A8 で 86.0%、W4 では 54.0% に下がり、W3 では 12.0% にとどまりました。
著者らの結論は、これらの結果は精度の設定とレシピの間に相互作用があることを示すだけで、「どの層が敏感か」という汎用のルールは導けない、というものです。言い換えれば、他人の量子化レシピをそのまま使うことはできず、モデルごとに自分で閉ループの検証を行う必要があります。
シミュレーター自体：忠実度と基盤
DreamStream（[R]、2026-09-22、自動運転）は、FID のような知覚的な指標では、「方策が依存するシーンの特徴が保たれているか」についての順位付けを誤ると指摘しています。著者らは FDπ を提案し、公開されているエンドツーエンドの運転方策のシーンコンテキスト特徴を使ってフレシェ距離を計算します。FDπ で測ると、DreamStream はこれまでで最も強い閉ループシミュレーターより nuScenes で 1.6 倍、NAVSIM で 4.7 倍優れています。これをもとに構築した Navhard-CL ベンチマークでは、スコアラーの偏りや回復行動の欠如など、従来の閉ループベンチマークでは見つからなかった失敗モードが明らかになりました。この結論は運転分野のものですが、「ピクセルのリアルさではなく方策の特徴でシミュレーションの忠実度を測る」という考え方はロボットアームにも当てはまります。
ツールの面では、NVIDIA の 2 つの一次ドキュメントが、評価を再利用可能なエンジニアリングのワークフローにしています。Isaac Lab-Arena（[O]）はシーン、物体、エンボディメント、タスクを独立したモジュールに分け、サブタスクの進捗追跡と摂動に対する感度分析をサポートします。ドキュメントに示された暫定的なベンチマークの 1 つは、単一 GPU 上の 1,024 並列環境で 2,390 environment-steps/s に達するというもので、テスト済みのバージョンは release/0.3.0 です。MjWarp 移行チュートリアル（[O]、Hugging Face Blog、2026-09-23）は、SO-101 のブロック積みタスクを例に 5 つのステップで進めます。まず CPU 上で MuJoCo のベースラインを作り、次に単一 world が GPU 上でも一致することを確認し、続いて接触と拘束のバッファ容量を設定し、2,048 の並列 world に拡張して、最後にスループットを測定します。記事は意図的にスループットの数字を示していません。結果がシーン、シミュレーション設定、ハードウェアに依存するからだとしています。
制約と注意点
- VLAQuantBench の実機の表と Beyond Binary Success の一部のデータを除き、本記事の数字は主に LIBERO や RoboTwin などのシミュレーションベンチマークによるもので、これらのベンチマークでは初期状態成功率がすでに飽和に近づいています。
- [R] の数字はすべて著者の自己申告によるプレプリントです。RoboRecover の逸脱状態は行動のプレフィックスの再生によるもので、現実世界の外乱の分布と一致するかどうかは、まだ検証が必要です。
- Isaac Lab-Arena のスループットの数字は著者自身が暫定的な結果としており、ドキュメントのメインブランチにもまだ十分にテストされていないと注記されています。
- DreamStream の結論は、運転のデータセットでしか検証されていません。
今後の注目点
- 新しい VLA 論文が、初期状態成功率に加えて、回復成功率や段階的な進捗指標もあわせて報告するようになるか。
- 量子化や蒸留の後の閉ループ検証が、付録の表 1 つにとどまらず、モデル公開時の標準になるか。
- 逐次検定が主流の評価フレームワークに取り入れられ、「各タスク 20 回試行」のような結論に信頼水準が付くようになるか。
