本記事は Physical AI レーダー の 2026 年 9 月のアーカイブをもとにしています。レーダーの「エッジとリアルタイム性」テーマは、1 つの制約を率直に掲げています。リアルタイムの予算を超えるモデルは制御ループに入れない、というものです。9 月の変化は、レイテンシが論文の付録にだけ現れるものではなくなったことです。VLA や世界行動モデル（WAM）の論文で、ミリ秒単位の数値、制御周波数、対象ハードウェアを主要な結果として報告するものが増えています。本記事ではこれらの数字を並べ、レイテンシ予算がどこに使われているのか、どの削減手法が効果的か、どこでまだ証拠が足りないかを見ていきます。
直接比較できないレイテンシ表
次の表は、本記事で扱う各研究が自己申告したレイテンシまたは周波数です。ハードウェア、解像度、モデル規模がそれぞれ異なるため、桁の大きさを見るだけにとどめ、優劣を直接比較しないでください。
| 研究 | 証拠 | ハードウェア | 報告されたレイテンシ / 周波数 |
|---|---|---|---|
| Cosmos 3 Edge（4B） | [O] | Jetson AGX Thor T5000 | 32 ステップのアクションチャンク 1 つの生成に約 1.53 s（15 Hz） |
| Rolling-WAM | [R] | A100 | 再計画 1 周期あたり 215 ms（Joint-WAM は 978 ms） |
| Decoupled Early Exits（π0.5、LIBERO） | [R] | A100 40GB | 0.537 s → 0.095 s |
| OpenVLA-OFT（BF16、VLAQuantBench での実測） | [R] | RTX 4090（バッチサイズ 1） | 推論全体で 139.9 ms |
| Agile-WAM | [R] | アブストラクトに記載なし | 11.9 ms |
| PASSAGE（ヒューマノイドの通行） | [R] | Jetson AGX Orin | 計画 6.25 Hz、制御 50 Hz |
予算の使い方：アクションチャンクと再計画周期
1 回の推論が制御周波数よりずっと遅い場合、よく使われるのは、一度にアクションチャンクを生成し、それを実行しながら次のチャンクを準備する方法です。NVIDIA の Cosmos 3 Edge ポストトレーニングのチュートリアル（[O]、2026-08-19、レーダーの「フロンティア・ベースライン」項目）は、オンデバイスでの完全な例を示しています。4B パラメータの omni モデル（2B の Nemotron 推論器を内蔵）で、BF16 では約 9 GB となり、Jetson AGX Thor のオンボードメモリに丸ごと収まります。一度に 32 ステップの行動を生成し、15 Hz で実行すると約 2.13 秒分をカバーします。1 チャンクの生成には約 1.53 秒かかるので、現在のチャンクを実行し終える前に次のチャンクが準備でき、制御ループにデータセンター GPU は必要ありません。代償は能力です。RoboLab（Isaac Lab-Arena ベース）の 120 の言語条件付き操作タスクでシミュレーションの閉ループ評価を行うと、Edge 版の成功率は 22.9%、より多くの計算資源を必要とする Nano 版は 36.8% でした。また、記事のサンプルコードは各チャンクの最初の 16 ステップだけを実行して再計画しており、15 Hz では約 1.07 秒で、1.53 秒の生成時間より短くなります。この 2 つがどうつながるのかは、記事では説明されていません。
WAM ではこの問題がさらに深刻です。再計画のたびに動画と行動をまとめてデノイズする必要があるからです。Rolling-WAM（[R]、2026-09-24）はスライディングウィンドウを保持し、ウィンドウ内の動画・行動チャンクはそれぞれ異なるノイズレベルにあります。各ステップでは直後に実行するチャンクだけを完全にデノイズし、より先のチャンクは部分的にデノイズしておいて、新しい観測が来たら続きを処理します。これにより、A100 での再計画 1 周期あたりの時間は Joint-WAM の 978 ms から 215 ms に下がり（約 4.5 倍）、Fast-WAM の 548 ms と比べても約 2.5 倍高速です。成功率はこれによって下がっていません。LIBERO の平均は 98.1%（Joint-WAM は 98.5%）、Unitree G1 実機での平均は 85.0%（Joint-WAM は 78.3%、π0.5 は 61.7%）でした。
PASSAGE（[R]、arXiv 2609.18732）は階層型の例です。flow matching planner が 6.25 Hz で参照軌道を生成し、全身 tracker が 50 Hz で実行します。どちらも Jetson AGX Orin 上で動作し、real-time chunking によってチャンク間の連続性を保っています。
計算を削る 3 つの方法
深さとデノイズのステップ数を減らす。Decoupled Early Exits（[R]、2026-09-24）は、VLM バックボーンの深さ V、アクションエキスパートの深さ A、デノイズのステップ数 D を、まとめて調整できる 3 つのつまみとして扱います。2 つのモデル（SmolVLA、π0.5）と 2 つのベンチマーク（LIBERO、Meta-World）で、平均してレイテンシを 79.2%、FLOPs を 31.8% 削減し、平均成功率は 5.6% 向上しました（相対値かポイントかは要旨に書かれていません）。各退出点で増えるパラメータは 2.1%（SmolVLA）または 4.1%（π0.5）だけです。ただし論文の設定表を見ると、最良の設定はどれもデノイズのステップ数を 10 から 2 または 3 に減らしており、著者ら自身の分析でも D は FLOPs とレイテンシの両方を改善するとしています。したがって、利得のかなりの部分は早期退出そのものではなく、デノイズのステップ数を減らしたことによる可能性があります。著者らのもう 1 つの発見は、最適な設定がタスクによって異なり、汎用の最良設定はないということです。
実行をまたいだキャッシュ。rMuscle（[R]、2026-09-16）は、工場の作業セルで繰り返し実行することから生じる類似性を利用します。Context Cache で視覚トークンの出力を再利用し、Action Cache でニューロンの活性化パターンを再利用して重みへのアクセスを減らします。RTX 4090 と Jetson Thor で 1.29–1.42 倍高速化し、実機の成功率は変わりません。幅は大きくありませんが、モデルを変更する必要がなく、他の手法と組み合わせることもできます。
専用の小型モデル。Agile-WAM（[R]、2026-09-17）は、大規模に事前学習された生成系のバックボーンを使わず、視覚と触覚を共有の潜在空間にエンコードして直接 flow matching を行います。視覚の潜在変数は比較的長い時間間隔で予測し、触覚の潜在変数は次のフレームを予測することで、接触時の急な変化に追従します。接触の多い 5 つの実機タスクで、全体の成功率は相対的に 29.4% 向上し、推論レイテンシは 11.9 ms でした。
量子化はメモリを節約するが、時間を節約するとは限らない
VLAQuantBench（[R]、2026-09-21）の実測カーネルの結果は、デプロイを担うチームにとって注目に値します。OpenVLA-OFT の LLM 部分について、BF16 は 15.0 GiB で推論全体が 139.9 ms です。AWQ はメモリを 6.1 GiB に減らしますが、レイテンシは 181.1 ms に増えます。NF4 は 6.3 GiB で 152.6 ms、LLM.int8() は 9.0 GiB で 379.5 ms でした。著者らは、テストしたすべての量子化経路でピークメモリは減ったものの、いずれも BF16 より遅かったと明言しています。実機では、W4 によって OpenVLA-OFT の把持タスクの成功率が 88.0% から 54.0% に下がり、W8A8 では 86.0% を維持しました。つまり、Orin や Thor のようにメモリが限られたボードでは、量子化がまず解決するのは「載るかどうか」であり、「速くなるかどうか」ではありません。速くするには、その精度に対応した効率的なカーネルが必要です。
制御ループの脇にある軽量モジュール
オンデバイスのモジュールがすべて方策そのものというわけではありません。移動ロボットのオンライン故障検知（[R]、2026-09-24）は、時系列基盤モデル TSPulse でオフラインに疑似ラベルを生成して MiniRocket の生徒モデルに蒸留し、逐次最小二乗法によるオンライン適応を組み合わせています。CPU での 1 回の推論は 4.30 ms で、実際の機械的な劣化に対して VUS-PR は 0.26 から 0.75 に上がりました。Albireo（[R]、2026-08-29）は対象ごとにカルマンフィルターを保持し、予測の不確実性がしきい値を超えたときだけ検出器を呼び出します。Jetson AGX Thor と Orin で、AP@50 をフレームごとの推論の ±1.2 ポイント以内に保ちながら、総消費エネルギーを 12.1%–17.6% 削減しました。比較として、1 フレームおきに固定でスキップする方法では AP@50 が 8.6 ポイント低下します。どちらの例も、オンデバイスでは「いつ計算しなくてよいか」が「どれだけ速く計算できるか」と同じくらい重要であることを示しています。
制約と注意点
- 表の数字は異なるハードウェア（A100、RTX 4090、Jetson Thor、Jetson Orin、CPU）と異なる解像度によるもので、横並びで比較できません。Jetson での結果を報告しているのは Cosmos 3 Edge、PASSAGE、rMuscle、Albireo だけです。
- Decoupled Early Exits には実機実験がありません。Rolling-WAM の 215 ms は A100 で測定したもので、オンデバイスでの性能は不明です。Agile-WAM のアブストラクトは、レイテンシの測定に使ったハードウェアを示していません。
- Cosmos 3 Edge はベンダーのチュートリアルで、22.9% はシミュレーションの閉ループ成功率です。また、サンプルコードの実行ステップ数と生成時間のつながりは説明されていません。
- [R] の結果はすべて著者が自己申告したプレプリントです。
今後の注目点
- WAM が Jetson クラスのハードウェアで再計画周期を数百ミリ秒以内に抑えつつ、実機の成功率を保てるか。
- VLA でよく使われる精度（W4、W8A8）に対応した成熟したオンデバイスカーネルが登場し、量子化でメモリと時間の両方を節約できるようになるか。
- 論文が「ハードウェア + 解像度 + 1 周期あたりのレイテンシ + 制御周波数」の組を統一して報告し、結果を横並びで比較できるようになるか。
リンク
- Physical AI レーダー
- Post-train NVIDIA Cosmos 3 Edge for On-Device Robot Control（NVIDIA）
- Rolling-WAM（arXiv 2609.30247）
- PASSAGE（arXiv 2609.18732）
- Decoupled Early Exits（arXiv 2609.29382）
- rMuscle（arXiv 2609.19104）
- Agile-WAM（arXiv 2609.20761）
- VLAQuantBench（arXiv 2609.25376）
- Continuous Online Fault Detection（arXiv 2609.29194）
- Albireo（arXiv 2609.29648）
