本节视频
配音由 AI 合成。 视频章节、文字稿与出处
文字稿
文字稿
知行问
机器人研究了几十年,为什么偏偏是这两年,突然都会动手了?答案是三条曲线,在同一段时间里一起抬头:数据、模型、算力。这一集,我们一条一条看。
数据
教机器人,就像带学徒:得先让它看很多遍。可过去,每个实验室只攒自己机器人的一小份数据。二零二三年,一篇论文把二十一家机构的数据,拼到了一起。里面有二十二种机器人,五百多种技能。更大的一步,是直接看人干活。二零二六年初,一篇论文用了两万多小时的录像。人头戴相机,从自己的视角拍下工作,给机器人模型打基础。机器人真的能跟着人学!
模型
数据够了,还得有能消化它的模型。聊天AI背后的大模型,看过海量图文,认得杯子,也认得桌子。二零二三年,谷歌的一篇论文想了个办法。把机器人的动作,也写成一串“词”,让模型看完图,直接说出动作。研究团队报告了六千次真机测试的结果。碰到没见过的东西,它也做得更好。到了二零二六年,这样的模型已经开放下载,允许商用。四月,一家芯片公司推出了人形机器人模型。参数规模达到三十亿。它预训练用的,正是刚才那两万多小时的人类录像。数据和模型,在这里接上了。会看图说话的模型,学会动手了!
算力
最后是算力。训练模型要算,机器人干活的时候,身上也要算。再看训练,前沿模型的训练算力每年增长四到五倍。这是研究机构给出的统计。机器人模型,就站在这些大模型的肩膀上。机器人身上的计算模组,也在快速变强。官方标称,在特定精度下,它的峰值算力是上一代的七点五倍。算力跟上了,大模型才能装上机器人,一边看、一边想、一边动。三条曲线,分开看都不新鲜。新鲜的是,它们在同一段时间里一起抬头,互相推着往前走。不过,曲线抬头,不等于问题解决。上一集说过:做到一半出了岔子,机器人还常常接不住。回顾一下,三个要点。一,数据:从各攒各的,到看人干活也能学。二,模型:看过海量图文的大模型,学会了输出动作。三,算力:训练和机器人身上,都跟上了。所以,不是机器人突然变聪明,而是三样条件终于一起成熟了!那机器人的一秒钟里,到底发生了什么?下一集见!
证据与出处
22 种 · 机器人的数据拼进同一个数据集(21 家机构、527 种技能) [R] · arXiv 2310.08864 · Open X-Embodiment
6,000 次 · 真机评测;对训练数据里没有的物体,泛化明显更好(RT-2,视觉-语言-动作模型) [R] · arXiv 2307.15818 · RT-2(Google DeepMind)
动手与自测
小测公开,答案与解析在作答后显示;图文课里的练习答案需登录查看。
机器人研究了几十年,为什么偏偏是这两年,突然都会动手了?“物理AI实验室”第 0.2 集的回答是三条曲线:数据、模型、算力,在同一段时间里一起抬头,并且互相推动。本文是这一集的文字版,列出每个数字的出处,并标明哪些是作者或厂商自报。
说明:本文可以独立阅读,沿用第 0.1 集的例子:拿起桌上的杯子,不碰倒旁边的水瓶。
一、数据:从各攒各的,到看人干活
教机器人像带学徒,得先让它看很多遍示范。过去的问题是,每个实验室只攒自己那台机器人的一小份数据,格式、机型、任务各不相同,彼此用不上。
跨机构拼数据。2023 年 10 月提交的 Open X-Embodiment 论文,把 21 家机构的数据拼到了一起:论文称,数据集涵盖 22 种不同的机器人、527 种技能(160,266 个任务),并在上面训练了 RT-X 模型,报告了跨平台的正迁移。
直接看人干活。机器人数据再怎么拼,也要靠人遥操作一条条采。更大的一步是从人类视频中学。2026 年 2 月提交的 EgoScale 论文,用 20,854 小时带动作标注的第一视角视频(egocentric video,人戴着相机从自己眼睛的角度录下的视频)预训练一个视觉-语言-动作模型。论文称,这比此前同类工作大 20 倍以上;数据规模与验证损失之间呈对数线性的缩放关系;最终策略在一只 22 自由度的灵巧手上,平均成功率比不做人类数据预训练的基线提高了 54%(论文未写明是相对提升还是百分点)。20,854 小时,约合不间断播放 2.4 年。
登录后继续阅读本课其余各节、自测题与答案。
局限 / 注意
- 三条论文数字(22 种机器人、20,854 小时、6,000 次)都是作者自报;EgoScale 为 2026 年的预印本,尚未经过同行评审。
- GR00T N1.7 的“允许商用”来自 NVIDIA 博客的表述,具体许可条款请在使用前查阅模型页面的许可证。
- “三条曲线”是帮助理解的框架,不是因果证明。机器人能力的进展还取决于硬件本体、仿真、评测方法等本集没有展开的因素。
链接
- Open X-Embodiment: Robotic Learning Datasets and RT-X Models(arXiv 2310.08864)
- EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data(arXiv 2602.16710)
- RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control(arXiv 2307.15818)
- NVIDIA Isaac GR00T N1.7(Hugging Face 博客)
- Epoch AI: Training compute of frontier AI models grows by 4-5x per year
- NVIDIA: Jetson Thor Now Available



