物理AIオープンソース実践 R01|LeRobot v0.7.0:サンドボックスに入れて、2 回学習し、評価結果を見る

R01:隔離したサンドボックスに LeRobot v0.7.0 を入れ、シミュレーションの PushT で 2,000 ステップと 20,000 ステップ学習しました。評価は 3 エピソード中 0 回、10 エピソード中 1 回の成功です。区間が大きく重なっているので、方策が課題を身につけたとは言えません。

今回は、オープンソースのロボット学習フレームワーク LeRobotをインストールして、シミュレーションの課題で方策を学習させます。課題は、T 字形のブロックを、目標の T 字に重なるまで押すこと(PushT)です。2 回の学習の評価結果を確認し、評価のリプレイを 2 本見ます。成功した 1 本と、失敗した 1 本です。お見せするのは、一連の手順を最後まで通した記録です。方策が課題を身につけた、という話ではありません。

本エピソードはシミュレーションのデモで、実機実験ではありません。 数字はすべて 2 回の学習の train.log と評価の JSON から取っています。このページは「物理AIオープンソース実践」シリーズ第 1 回の記事版です。

動画

ナレーションは AI 合成音声(Serena)です。

LeRobot を選んだ理由

LeRobot は Hugging Face のロボット学習ライブラリで、ライセンスは Apache-2.0 です。使ったのは v0.7.0 で、コミット 410c095e に固定しました。データ、方策、学習、評価を同じ一連のコマンドで扱えます。今回はサンドボックスの中で、学習から評価まで一通り実行しました。

環境の準備

依存パッケージは uv で入れ、Python は 3.12 以上を使いました。バージョンはリポジトリ付属のロックファイルで固定されていて、その sha256 は d569cc07 で始まります。

公式の手順では、公式のインストールガイドに従って、lerobot 本体を training、pusht、diffusion の 3 つの extra 付きでインストールします。この 3 つはまとめて入れてください。どれか 1 つでも欠けると、実行時に ImportError になります。

私たちのサンドボックスは隔離の要件があるので、ロックファイルから依存を書き出し、PYTHONPATH でソースディレクトリを指して実行しました。皆さんは同じことをする必要はありません。公式の手順で入れてください。

学習コマンドで押さえる 3 点

1 つ目。push_to_hub は既定でオンになっていて、学習設定が結果を Hugging Face Hub に送ろうとします。コマンドには必ず --policy.push_to_hub=false を書きます。2 つ目。--help は方策の種類を指定しないと全部の引数を表示しません。先に --policy.type=diffusion を付けてから引数名を調べます。3 つ目。データセットはバージョンを固定します。lerobot/pushtのリビジョンは b1c3ecba、データ形式は v3.0、206 エピソード、25,650 フレームです。

方策と設定

方策は拡散方策(diffusion)です。視覚部分は ResNet-18 で、初期の重みは ImageNet の事前学習済みのものです。それ以外の部分を PushT のデータで学習しました。視覚部分をゼロから学習したわけではありません。バッチサイズは 2 回とも 8、乱数シードも 2 回とも 1000 です。シードは 1 種類しか使っていません。

1 回目:2,000 ステップ

1 回目は 2,000 ステップ学習し、かかった時間は約 4 分 40 秒です。これには 1,000 ステップ目と 2,000 ステップ目の 2 回の評価が含まれます。2,000 ステップ目に 3 エピソードを評価し、成功は 0 回でした。95% のウィルソン区間で表すと、0% から 56.2% です。3 回で成功がなかったからといって、成功率が 0 だとは言えません。

1,000 ステップ目の評価も 3 エピソードで、平均最大報酬は 0.053 でした。2,000 ステップ目は 0.17 です。

この指標は、ブロックを目標領域にどこまで押し込めたかを表します。エピソードごとに到達した最大の報酬を取り、それをエピソード間で平均した値です。各ステップの報酬は、重なりの割合を 0.95 で割り、0 から 1 の範囲に収めたものです。重なりが 95% を超えると成功で、そのエピソードはすぐに終わります。つまり 1 は成功を意味し、0.96 は重なり約 91% に相当して、まだ成功ではありません。この指標は成功率ではありません。

2 回目:20,000 ステップ

2 回目は L40S で 20,000 ステップ学習し、学習時間は約 32 分でした(最後の評価は含みません)。速さは毎秒約 10 ステップで、20,000 ステップを約 1,927 秒で割って出した値です。

20,000 ステップ目に 10 エピソードを評価しました。成功は 1 回、成功率 10% で、95% 区間は 1.8% から 40.4% です。平均最大報酬は 0.70 でした。

学習ステップ評価エピソード成功成功率95% 区間(ウィルソン)平均最大報酬
2,000300%0% から 56.2%0.17
20,00010110%1.8% から 40.4%0.70

2 回の成功率の区間は大きく重なっているので、「0% から 10% に上がった」とは言えません。言えるのは、平均最大報酬が 0.17 から 0.70 に上がり、ブロックを目標の近くまで押した程度が高くなった、ということです。これは今回の 2 回の実行で観察したことで、ほかのステップ数やほかのシードには当てはめられません。

評価のリプレイ:成功 1 本、失敗 1 本

評価では 4 本の映像を記録しました。0 番は 10 エピソードの中で唯一成功した回で、1 番は失敗です。2 番と 3 番も失敗でした。上の動画では 0 番と 1 番を流しています。

7 つの落とし穴

今回は 7 つの落とし穴にはまりました。このページでは 3 つを紹介します。push_to_hub が既定でオンになっていること。--help は方策の種類を先に指定する必要があること。training と diffusion の 2 つの extra をまとめて入れる必要があること。残りの 4 つは、外向き通信を制限した環境で許可すべきストレージのドメイン、隔離環境で GPU を使うための設定、2 つの opencv パッケージの上書き合い、並列ダウンロードがプロキシの接続数の上限に当たる問題です。詳しい内容は本編では扱いません。

限界と注意

学習は 2 回、シードは 1 つ、評価は合計 13 エピソード(1 回目 3、2 回目 10)でした。結論はささやかです。手順は最後まで動き、数字はログと一致しました。ただし方策はまだ当てになりません。使えるかどうかを判断するには、ステップ数、評価エピソード数、シードをもっと増やす必要があります。

動画のターミナルは学習ログを再生した抜粋で、画面録画ではありません。文字はログの原文から取り、パスは一般的な名前に置き換え、各行の先頭の時刻は取り除いています(行の中にある日付はログそのものの内容です)。長い行は省略記号で切り、途中の行を一部省いています。動画の結果カードと比較図は、実測の数字をもとに描いた図です。

次回は別のリポジトリを取り上げ、同じやり方でインストールし、動かし、確かめます。

根拠の一覧

動画に出てくる数字の出どころです。ご自由に確かめてください。

  • 0/3 1 回目の学習(2,000 ステップ):評価 3 エピソード中成功 0、95% ウィルソン区間 0%–56.2%、平均最大報酬 0.17(1,000 ステップ目は 0.053)、所要時間は 2 回の評価を含めて約 4 分 40 秒(O · 公式・一次)。出典:今回の学習ログ(評価のまとめの行。ログは非公開)、2026-11-11
  • 1/10 2 回目の学習(20,000 ステップ):評価 10 エピソード中成功 1、95% ウィルソン区間 1.8%–40.4%、平均最大報酬 0.70、学習時間約 32 分(最後の評価を除く)、20,000 ステップを約 1,927 秒で割って毎秒約 10 ステップ(O · 公式・一次)。出典:今回の学習ログ(評価のまとめの行。ログは非公開)、2026-11-11
  • 410c095e LeRobot v0.7.0、コミット 410c095eacc0011d998a73383eb94abed2715af0、Apache-2.0(O · 公式・一次)。出典:huggingface/lerobot、2026-11-05
  • b1c3ecba データセット lerobot/pusht、リビジョン b1c3ecbae7f244acc039a3dbc255a00dad1372b9(206 エピソード、25,650 フレーム)(O · 公式・一次)。出典:Hugging Face のデータセット lerobot/pusht、2026-01-29
  • d569cc07 ロックファイルの sha256 の先頭 8 桁(O · 公式・一次)。出典:LeRobot v0.7.0 リポジトリ付属のロックファイル、2026-11-05
  • 0.95 平均最大報酬のもとになる定義:各ステップの報酬 = 重なりの割合 ÷ 0.95、0–1 に収める。重なりが 95% を超えると成功(O · 公式・一次)。出典:PushT 環境 gym-pusht のソースコード、2026-10-12
  • 8 · 1000 バッチサイズ 8、乱数シード 1000(2 回とも同じ、シードは 1 つだけ)(O · 公式・一次)。出典:今回の学習設定(train_config.json。非公開)、2026-11-11
  • ログ再生 動画のターミナルは 2 回の学習ログを再生した抜粋で、画面録画ではありません。パスは置き換え、時間はログから再構成(O · 公式・一次)。出典:本エピソードの制作メモ、2026-11-13