物理AI实验室 0.3:看-想-动,把三个频率放回各自的系统

公开小测附完整解析;登录后可给虚构机器人排分层时钟表、按虚构日志诊断三次碰撞属于哪一层、为三条越界转述写证据卡,并对照分步解法、纠错建议与评分标准。

本节视频

配音由 AI 合成。 视频章节、文字稿与出处

文字稿

文字稿

知行问

机器人的一秒钟里,到底忙了些什么?上一集说,三条曲线一起抬头。这一集,我们把这一秒钟慢放。看机器人拿起杯子,避开旁边的矿泉水瓶,分几步。

看

先说第一步,观察。要拿的杯子、别碰的矿泉水瓶,都靠摄像头看进来。一篇论文的公开数据集,每秒保存十五帧画面。机器人还要看自己:手在哪、张开多大。摄像头拍到的也不只是平面。杯子离手有多远、手能不能拿到,都要从画面里算出来。原来它不光看外面,还盯着自己的手!

想

第二步,想。想其实分两半:一半慢慢想清楚,一半飞快出动作。一款开放的机器人模型,就采用了这种设计。慢的那套,先想清楚:先抓杯子,绕开水瓶,再放到一边。一篇论文中的机器人是这么做的。每走完二十五步,大约半秒,就重新想一遍。所以想不是一下子想完,是走几步、再想一次!

动

一家机器人公司的接口,每秒交换一千次控制指令。想好的路线,就交给这一层,让电机随时微调。为什么要这么快?慢一拍,手就可能偏出去,撞翻旁边那瓶矿泉水。打个比方:大脑想得慢,小脑动得快。想,隔一会儿来一次;动,快得多。不过,这只是个比方。看、想、动,连成一个圈。一秒钟里,这个圈要转很多遍。回路更新得快,才能更及时地发现偏差、调整动作。但速度不保证精度;机器人要又快又准,还差得远。回顾一下,三个要点。一,看:既看外面,也看自己。二,想:分慢想和快做两套。三,动:底层控制,快得多。原来一秒钟里,机器人看、想、动,转了一圈又一圈!只在真机上做实验,速度慢、成本高。那能不能先在虚拟世界试一试?下一集见!

证据与出处

15 帧/秒 · 一个公开机器人数据集的记录频率(画面与动作都按每秒 15 次记录) [R] · arXiv 2403.12945 · DROID(Appendix B)

快慢两套 · 开放人形机器人模型 GR00T N1.7 的双系统结构:高层推理与底层动作分开 [O] · NVIDIA · Hugging Face 博客《GR00T N1.7》

25 步 / 半秒 · π0 在 50 赫兹的机器人上,每执行 25 步动作、约每 0.5 秒重新推理一次(论文) [R] · arXiv 2410.24164 · π0(Physical Intelligence,Appendix A-D)

1,000 次/秒 · 一家机器人公司的控制接口(FCI)以 1 千赫兹收发底层控制指令 [O] · Franka Robotics · Tactile Mobile Robot(FCI)

动手与自测

小测公开,答案与解析在作答后显示;图文课里的练习答案需登录查看。

示意图:标题“三个频率,三个不同的系统”下有三列并排的文字,每列上方是一个无编号的圆形标记和一条横线,下方居中写着:DROID 数据集画面与动作均按 15 Hz 记录;π0(50 Hz 机器人)执行 25 个动作后约每 0.5 s 重新推理;Franka FCI 以 1 kHz 收发底层控制与测量。各列之间没有箭头。
三个频率来自三个不同的系统,不能拼成同一台机器人的参数。来源:DROID 论文附录 B、π0 论文附录、Franka TMR 产品页。

第 0.3 集的视频把机器人的一秒钟慢放成“看、想、动”三步,片中出现了四条证据:每秒 15 帧、快慢两套系统、每 25 步约半秒重想一次、每秒 1000 次控制指令。本篇是这一集的图文课与应用练习,不重复文字稿,而是把这四条证据放回各自的系统,把频率换算成周期,再用一台虚构机器人练习排时钟、查日志和审证据。贯穿全文的规则只有一条:一个频率只属于测出或标称它的那个数据集、模型、机器人或接口。

视频、文字稿与出处见视频与文字稿|物理 AI 实验室 0.3:看-想-动,全季安排见课程大纲。本文沿用前两集的例子:拿起杯子,不碰倒旁边的水瓶。

公开小测的 5 道题附完整解析;登录后可完成三项练习:给虚构机器人排一张分层时钟表、按虚构日志诊断三次碰撞属于哪一层、为三条越界的转述写证据卡,并对照分步解法、常见错误与 20 分评分标准。

一、四条证据,分属四个系统

先把片中的四条证据各自归位。注意“属于谁”一列:没有哪一行说的是同一台机器人。

证据属于谁原文说的是什么等级
15 HzDROID 数据集(Franka Panda 机械臂,Polymetis 控制器)全部数据按 15 Hz 记录;动作在关节空间和末端空间都以 15 Hz 的控制频率记录R(作者报告)
25 个动作 / 0.5 秒π0 论文中以 50 Hz 运行的机器人执行 25 个动作后重新推理一次,即每 0.5 秒一次R(作者报告)
快慢两套GR00T N1.7 模型System 2 负责高层推理与任务分解,System 1 生成电机指令;所引文字没有给出两者各自的频率O(厂商一手)
1 kHzFranka Control Interface(FCI),见 Franka TMR 产品页以 1 kHz 发送底层实时控制值,并以 1 kHz 获取测量数据O(厂商标称)

同一个品牌,三个频率。“Franka”在这些材料里出现了三次:DROID 用 Franka Panda 机械臂,以 15 Hz 记录动作;π0 论文写明,它在 20 Hz 的 UR5e 和 Franka 机器人上每 0.8 秒(执行 16 个动作后)推理一次;Franka 自己的产品页则说 FCI 以 1 kHz 收发底层控制值。三句话说的不是同一件事:分别是数据集的记录频率、一个策略在某台机器人上的动作频率、一个底层接口的标称频率。DROID 的摘录也没有说明它的控制器如何接到机械臂的底层回路,所以不能由此推断“DROID 里的机械臂以 1 kHz 运行”。

局限 / 注意

  • DROID(arXiv,2024-03-19)和 π0(arXiv,2024-10-31)的数字是作者报告,属 R 级;GR00T N1.7 的结构和 FCI 的 1 kHz 来自厂商页面,属 O 级。本站没有独立复现其中任何一项。
  • Franka 页面介绍的 TMR 标注为原型(Prototype);1 kHz 是 FCI 的标称能力,不是在某台机器人上的测量结果。
  • π0 的推理耗时只对应 RTX 4090、3 路相机、10 步 flow matching 的条件,换硬件或配置都会变。
  • 机器人 R、它的全部参数、0.5 秒要求、“推理不与执行重叠”的设定和任务 2 的日志都是练习用的虚构;算出的 1.04 s、0.44 s、1.0 s 不是任何系统的性能,纸面计算也不是硬件安全验证。
  • “看-想-动”和“大脑与小脑”都是简化的说法;真实系统中感知、规划与控制往往交织在一起。

链接