
Genie Sim Benchmark の技術報告(arXiv 2611.15020、プレプリント)は、22 組の実機–シミュレーション対応タスクで一つの問いを検証しています。実機データでファインチューニングした同じ方策が、シミュレーションでも実機と近いスコアを得るかどうかです。著者は両側の Score の Pearson 相関を 0.9686、組ごとの差を −0.110 から +0.080 と報告しています。報告はロボットと物体の二つのレベルでのシステム同定の結果も示していますが、これらの物理レベルの結果がタスクスコアの差を縮めたことは示していない、と著者自身が書いています。本記事では三つの証拠の層を分けて読み、0.9686 がどんな判断を支えられるかを整理します。以下の数字はすべて著者報告で、本サイトは再現していません。
三つの証拠の層と対応付けの手順
報告は証拠を三層に分け、層ごとに指標と実験単位を持たせています。ロボットの実行(G2 crsB の双腕同定、閉ループの位置とトルク)、物体との相互作用(代表的な 5 物体、3 つの実行スタック)、タスクの結果(実機/シミュレーションの Score 22 組)です。図中の矢印は工程を整理するためのもので、一つの端から端までの実験を表すものではない、と著者は注記しています。
タスク層は 4 つの構成を含みます。G1 Omnipicker が 8 組、G2 Swiftpicker が 6 組、G2 Wuji が 1 組、Arx X5 が 7 組で、計 22 組、16 のタスク名にわたります。タスクは選択と推論、配置と仕分け、双腕の受け渡し、積み重ね、布の操作の 5 つの系統に分かれます。新たに追加した実験では π0.5 をベースラインとし、各タスクで収集した実機データで教師ありファインチューニング(SFT)を行ってタスク専用モデルを作り、実機とシミュレーションの両方で推論させています。G1 の 8 組は以前の Genie Sim 3.0 の報告から取ったデータで、本研究では G1 向けのシステム同定は行っていません。
シミュレーションの配置は実機のテスト配置と一つずつ対応し、評価基準、シーン、テスト設定は両側でそろえています。実機ではテスト担当者が最初から最後まで立ち会い、手作業で採点し、失敗とタイムアウトを判定します。シミュレーションは同じ基準で自動採点されます。試行回数は両側で同じで、環境ごとに 30、50、100 回のいずれかです。Score は採点段階ごとの平均で、別欄の端から端までの指標(E2E)とも二値のタスク成功とも異なる、と論文は説明しています。
プラットフォームの説明では、Genie Sim Benchmark は 78 のシミュレーションタスクを 4 つの能力次元(指示追従、空間推論、ロバスト性、汎用操作)で構成するとしています。この説明が引用しているのは未公開のプロジェクト資料で、本報告で実機と対応付けたのは上記の 16 タスク名です。
Score 22 組:0.9686 から言えること
22 組を等しく重み付けすると、MAE は 0.0405、RMSE は 0.0520、符号付きの平均差(Sim − Real)は −0.0068 です。これはタスク Score の差であり、成功率の差でも不確実性の区間でもない、と著者は注記しています。差が大きい 4 組を下に示します(表 B1 は小数第 2 位まで表示し、計算は全精度で行っています)。
| 構成 | タスク | Real | Sim | Δ | 片側の試行回数 |
|---|---|---|---|---|---|
| Arx X5 | Recognize Size | 0.77 | 0.66 | −0.11 | 50 |
| G1 Omnipicker | Sort Fruit | 1.00 | 0.90 | −0.10 | 50 |
| G2 Swiftpicker | Select by Color | 0.86 | 0.76 | −0.10 | 100 |
| Arx X5 | Folding Clothes | 0.72 | 0.80 | +0.08 | 50 |
ここからは本サイトの読み方で、推論です。22 組の実機 Score は 0.24(Arx X5 Stack Blocks)から 1.00(G1 Sort Fruit)まで広がっています。タスクごとの難しさが大きく異なり、シミュレーションがタスク間のこの高低を再現すれば、相関係数は高くなります。同じタスクで二つの方策を比べるためにシミュレーションを使うなら、重要なのは組ごとの差が方策間の差より小さいかどうかです。報告ではロボット–タスクの組ごとにタスク専用モデルを一つだけ評価しているため、同じタスクで異なる方策の順位をシミュレーションが保つかは検証していません。また、0.10 の差は片側 50 回または 100 回の評価で出ており、報告は区間を示していません。どの差が試行回数による揺らぎを超えているのかを、読者は判断できません。区間がなぜ必要か、何回試行すべきかはフィジカルAIラボ 2.8:再現できる評価を参照してください。
システム同定の前後で比べた 14 組
G2 Swiftpicker、G2 Wuji、Arx X5 には同定前と同定後のシミュレーション Score があり、合計 14 組です。これは既存のロボット–タスクの組を繰り返した条件で、タスクの範囲を広げたものではなく、実機側の参照値は変わらない、と論文は説明しています。同定後、MAE は 0.0554 から 0.0443 へ(20.0% 低下)、RMSE は 0.0653 から 0.0551 へ(15.6% 低下)下がり、Pearson r は 0.9518 から 0.9669 に上がりました。符号付きの平均差は −0.0004 から −0.0086 に変わっています。
組ごとに見ると、絶対差が小さくなったのが 8 組、大きくなったのが 1 組、変わらないのが 5 組です。G2 Swiftpicker は改善 4 組・変化なし 2 組、G2 Wuji の 1 組は改善、Arx X5 は改善 3 組・悪化 1 組・変化なし 3 組でした。悪化したのは Arx X5 Recognize Size で、差は −0.08 から −0.11 になりました。改善が最も大きいのは G2 Swiftpicker Fold Cloth で、+0.10 から +0.03 です。Arx X5 の MAE は 0.0500 から 0.0479 への低下にとどまり、RMSE は約 0.0601 のままです。X5 には力制御がないため、パラメータ同定には簡略化したモデルを使った、と著者は説明しています。
小数第 2 位までの表 B2 では、ほとんどの組で絶対差の変化は 0.00 から 0.03 の範囲です。報告は区間を示していないため、これらの小さな変化が試行回数による揺らぎを超えているかは、論文だけからは判断できません(本サイトの推論)。
ロボット層と物体層:1 本の記録と 5 つの物体
ロボット層。G2 crsB の各アームは 7 関節で、モデルの未知数は 1 本あたり 98 個です。リンクの慣性パラメータ 70、アーマチュア 7、摩擦係数 14、バイアス 7 からなります。これらがすべて関節トルクから独立に観測できるわけではないと著者は指摘し、3 段階で推定しています。定速スイープで摩擦、正弦波加振でアーマチュア、最後に 7 関節同期のフーリエ軌道で慣性パラメータを求め、記録はアーム 1 本につき 18 本です。これとは別に、32.6503 s の遠隔操作記録 1 本を、機械パラメータの同定にもサーボゲインの探索にも使わずに残しています。外部からの位置目標はシミュレーション上のモーションコントローラで指令整形され、較正済みの位置サーボが MuJoCo モデルを駆動します。最初の 1 s のウォームアップを除いた 3,165 サンプルで計算すると、両腕の関節ごとの位置 RMSE は 0.00614–0.03522 rad、電流から換算したトルクとの RMSE は 0.73545–4.00099 N·m です。この 1 本の記録が検証するのは実行系全体であり、機械同定の寄与を切り分けるものでも、タスクレベルの改善を示すものでもない、と著者は書いています。この再生では、フィッティングした滑らかな摩擦関数ではなく、MuJoCo 標準のクーロン摩擦を使っています。
物体層。5 つの物体はケトル、ガムの箱、スポンジ、シャトル、ペンで、どれも実際の相互作用の記録は 1 回だけです。元の研究では MuJoCo 3.10.0 でパラメータをフィッティングして固定し、MJWarp(MuJoCo-Warp 3.10.0、Newton 1.4.0 経由で読み込み)と PhysX(Isaac Sim 6.0.0 RC)へ移しています。結果は物体とエンジンによって異なります。
- ケトルのふた中心の RMSE は 3 つのスタックすべてで下がりました。MuJoCo 39.56 → 25.24 mm、MJWarp 40.98 → 25.12 mm、PhysX 38.66 → 26.23 mm です。
- ガムの箱は MuJoCo でわずかに改善し(12.78 → 12.23 mm)、MJWarp(13.37 → 13.58 mm)と PhysX(10.99 → 11.46 mm)では悪化しました。
- スポンジはそのまま PhysX に移すと誤差が 25.50 mm から 524.61 mm に増え、物体を持ち上げられませんでした。シャトルとペンは PhysX でグリッパが閉じる前に転がっていきました。
- PhysX 固有の接触・減衰設定に切り替えると(たとえばスポンジでは指先の接触剛性 800 N/m、減衰 5 N·s/m)、ベースラインとフィッティング後のどちらのパラメータでも記録したタスクを完了しました。この共通設定のもとで、スポンジの中心 RMSE は 41.54 → 26.73 mm ですが、鉛直方向の誤差は 13.40 → 19.38 mm に増えています。シャトルの RGB 誤差は 20.47 → 21.05 px に悪化し、著者は引き続きベースラインを推奨しています。ペンは 9.72 → 9.31 px で、この変化は約 3 px のアノテーション不確かさより小さい値です。
著者はここから二つを区別しています。タスクを完了できたことは同定が役立ったことを意味せず、全体の誤差が下がってもすべての座標方向が改善したとは限りません。さらに、これらの結果はベンチマークのタスクスコアの差を因果的に縮めたことを示していない、とも書いています。フィジカルAIラボ 2.5 ではコップを押した 1 本の軌跡から摩擦を手で求めました。この報告は同じ考え方を実際のロボットと物体に当てはめ、その限界も示しています。MuJoCo でフィッティングしたスポンジのパラメータは、そのまま PhysX に移すと物体を持ち上げられませんでした。
制約と注意点
- これは arXiv のプレプリントです。数字はすべて著者報告で、本サイトは再現していません。実機の Score はテスト担当者が手作業で採点しています。
- タスク層、ロボット層、物体層のいずれの結果にも信頼区間や実機での反復試行はありません。時間サンプルは互いに相関しており、独立した試行ではありません。物体研究の「ホールドアウト」時間窓は同じ記録の後半部分で、ブラインドテストではない、と著者は説明しています。
- 22 組のうち G1 の 8 組は Genie Sim 3.0 のデータを流用しており、本研究のシステム同定を経ていません。
- 著者は、遠隔操作の再生でまだ確定していない実装の詳細として、リミッタのしきい値、連成ルール、フィルタの初期状態、アクチュエータ制限の設定などを挙げています。
- 報告で触れている VLM による事前分布やエージェントが選ぶ相互作用といった拡張は、著者によればまだ実行も検証もされていません。



