この回の動画
ナレーションは AI 合成音声です。 動画の章・文字起こし・出典
文字起こし
文字起こし
知行の問い
ロボットの一秒間って、いったい何で忙しいの？前回は、三本の曲線がそろって上向く話でした。今回は、その一秒間をスローで再生します。ロボットがコップを持ち上げて、となりのペットボトルをよける。それが何段階なのかを見ていきます。
見る
まずは一歩目、観察です。持ち上げたいコップも、倒したくないボトルも、カメラから目に入ってきます。ある論文の公開データセットは、映像を毎秒十五コマ保存しています。ロボットは自分のことも見なければなりません。手がどこにあって、どれだけひらいているか。カメラに映るのも、平面だけではありません。コップが手からどれだけ離れているか、手で取れるかどうか。それも映像から計算しなければなりません。外の世界を見るだけじゃなくて、自分の手もじっと見てるんだ！
考える
二歩目、考える。実は二つに分かれます。じっくり考える側と、すばやく動作を出す側。ある公開ロボットモデルは、この設計を採用しています。遅いほうが、まず段取りを考えます。コップをつかむ、ボトルをよける、それから脇に置く。ある論文のロボットは、こう動きます。二十五ステップ進むたびに、およそ半秒ごとに考え直す。考えるのは一度で終わりじゃなくて、何歩か進んで、また考えるんだ！
動く
あるロボット会社のインターフェースは、毎秒千回、制御コマンドをやりとりします。考えた道筋は、この層に任せて、モーターがその都度、細かく調整します。なぜ、そんなに速くないといけないのでしょう？一拍遅れると、手がずれて、となりのペットボトルを倒してしまうかもしれません。たとえるなら、大脳はゆっくり考え、小脳はすばやく動かす。考えるのはときどき、動かすのはずっと速い。ただし、これはあくまでたとえです。見る、考える、動く。これがつながって、一つの輪になります。一秒のあいだに、この輪は何周も回ります。ループの更新が速ければ、ずれにいち早く気づいて、動きを調整できます。でも、高速な更新は、動きの正確さを保証しません。速くて正確、となると、ロボットはまだまだです。ふりかえりです。ポイントは三つ。一つ、見る。周囲の状況も、自分の状態も見ます。二つ、考える。じっくり考える系と、すばやく動く系の二つがある。三つ、動く。いちばん下の制御は、ずっと速い。一秒のあいだに、ロボットは見て、考えて、動いて、何周も回ってるんだ！本物のロボットだけで実験するのは、遅いし、コストも高い。じゃあ、まず仮想の世界で試せないかな？また次回！
根拠と出典
毎秒15コマ · 公開ロボットデータセットの記録頻度（映像も動作も毎秒15回記録） [R] · arXiv 2403.12945 · DROID（Appendix B）
練習とセルフチェック
小テストは公開で、回答するとすぐ解説が出ます。読み物の練習問題の答えはログイン会員向けです。
第 0.3 回の動画は、ロボットの 1 秒間を「見る・考える・動く」の 3 段階にスローで分解し、その中で 4 つの根拠を示しました。毎秒 15 コマ、遅い系と速い系、25 ステップごと（約半秒）の考え直し、毎秒 1,000 回の制御指令です。このページはその回の解説と応用練習です。文字起こしを繰り返すのではなく、4 つの根拠をそれぞれのシステムに戻し、周波数を周期に換算したうえで、架空のロボットを使ってタイミングの組み立て、ログの読み取り、証拠の確認を練習します。全体を通すルールは 1 つだけです。ある周波数は、それを測定または公称したデータセット、モデル、ロボット、インターフェースだけのものです。
動画・文字起こし・出典は動画・文字起こし｜フィジカル AI ラボ 0.3: 見る・考える・動く、シーズン全体の計画は講座の概要をご覧ください。本ページも前の 2 回と同じ例を使います。コップを持ち上げ、となりのペットボトルを倒さないことです。
公開の 5 問の小テストには詳しい解説が付いています。ログインすると、架空のロボットの階層別タイミング表づくり、架空のログによる 3 回の接触の原因層の診断、言い過ぎた 3 つの言い換えへの証拠カードづくりの 3 つの課題に取り組み、解答例・よくある誤り・20 点満点の採点基準と照らし合わせられます。
1. 4 つの根拠は 4 つの別々のシステムのもの
まず、動画の 4 つの根拠をそれぞれの持ち主に戻します。「誰のものか」の列に注目してください。同じロボットについて述べた行は 1 つもありません。
| 根拠 | 誰のものか | 出典に書かれていること | 等級 |
|---|---|---|---|
| 15 Hz | DROID データセット（Franka Panda アーム、Polymetis コントローラー） | すべてのデータを 15 Hz で記録。動作は関節空間とエンドエフェクター空間の両方で、15 Hz の制御周波数で記録 | R（著者報告） |
| 25 動作 / 0.5 秒 | π0 論文で 50 Hz で動くロボット | 25 個の動作を実行したあとに推論し直す。つまり 0.5 秒ごと | R（著者報告） |
| 遅い系と速い系 | GR00T N1.7 モデル | System 2 が高レベルの推論と作業分解を、System 1 がモーター指令の生成を担う。引用した本文には、どちらの周波数も書かれていない | O（ベンダーの一次情報） |
| 1 kHz | Franka Control Interface（FCI）、Franka TMR の製品ページ | 低レベルのリアルタイム制御値を 1 kHz で送り、計測データを 1 kHz で取得する | O（ベンダー公称） |
同じブランドに 3 つの周波数。これらの資料には「Franka」が 3 回登場します。DROID は Franka Panda アームを使い、動作を 15 Hz で記録しています。π0 論文は、20 Hz で動く UR5e と Franka のロボットでは 0.8 秒ごと（16 個の動作を実行したあと）に推論すると書いています。Franka 自身の製品ページは、FCI が低レベルの制御値を 1 kHz でやりとりするとしています。3 つの記述は同じことを言っていません。それぞれ、データセットの記録周波数、ある方策が特定のロボットで出す動作の周波数、低レベルインターフェースの公称周波数です。また DROID の抜粋は、そのコントローラーがアームの低レベルのループにどうつながるかを説明していません。そのため「DROID のアームは 1 kHz で動いている」とは推論できません。
ログインすると、このレッスンの続きと確認問題、解答を読めます。
制約と注意点
- DROID（arXiv、2024-03-19）と π0（arXiv、2024-10-31）の数字は著者報告で R 級です。GR00T N1.7 の構造と FCI の 1 kHz はベンダーのページによるもので O 級です。本サイトはいずれも独自に再現していません。
- Franka のページで紹介されている TMR はプロトタイプ（Prototype）と表示されています。1 kHz は FCI の公称性能で、特定のロボットでの測定結果ではありません。
- π0 の推論時間は、RTX 4090、カメラ画像 3 枚、flow matching 10 ステップという条件にのみ対応します。ハードウェアや設定が変われば値も変わります。
- ロボット R、そのすべてのパラメーター、0.5 秒の要件、「推論は実行と重ならない」という設定、課題 2 のログは練習用の架空のものです。得られた 1.04 s、0.44 s、1.0 s はどのシステムの性能でもなく、紙の上の計算はハードウェアの安全検証ではありません。
- 「見る・考える・動く」や「大脳と小脳」は単純化した説明です。実際のシステムでは、知覚・計画・制御がしばしば絡み合っています。
リンク
- 動画・文字起こし｜フィジカル AI ラボ 0.3: 見る・考える・動く
- フィジカルAIラボ：すべての数字を確認できるフィジカルAI講座（講座の概要）
- フィジカルAIラボ 0.2：なぜ今なのか、データ・モデル・計算資源の 3 本の曲線（GR00T N1.7 の規模と学習データ）
- DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset（arXiv 2403.12945、Appendix B）
- π0: A Vision-Language-Action Flow Model for General Robot Control（arXiv 2410.24164）
- NVIDIA Isaac GR00T N1.7: Open Reasoning VLA Model for Humanoid Robots（Hugging Face ブログ）
- Franka Robotics: Tactile Mobile Robot と Franka Control Interface
