物理AI实验室 3.5:GR00T 微调实战,逐项核对微调命令与 modality 接线图,再用 CPU 替身实验分清开环误差和闭环成功率

GR00T 微调实战,逐项核对微调命令与 modality 接线图,再用 CPU 替身实验分清开环误差和闭环成功率。本页整合中文视频、图文讲解、自测与出处,2026-11-15 更新。

本节视频

配音由 AI 合成。 视频章节、文字稿与出处

文字稿

文字稿

知行问

网上能下载人形机器人大模型。可它没见过你的机器人,怎么听你的?这一集有个目标。把开放的 GR00T 模型,微调到一台新机器人上。从数据到部署,走一遍。

先认识 GR00T

GR00T 是英伟达开放的人形机器人大模型。看图、听指令,直接输出动作。一个模型,管一整套技能。它不挑一种机器人。同一个模型,能迁到不同的本体上。这就是所谓跨本体。它还开放权重。你能拿去改,装进自己的产品。据英伟达介绍,它的参数有三十亿个。英伟达还说,它的许可证允许商用。它内部有两块。一块负责想,一块负责实时生成动作。这一快一慢,就是双系统。微调之所以省力,是因为它预训练时学了很多。不用从一张白纸开始。起点高,练得快。打个比方。它像个见多识广的学徒。你只要教它你家的规矩。据英伟达介绍,它预训练用了两万多小时录像。主要是人戴着相机,从第一视角拍下的干活画面。更关键的是一条规律。据英伟达介绍,人类视频从一千小时加到两万小时。平均完成率,翻了一倍多。原来英伟达说,一千小时到两万小时,看人干活越多,手越巧!据英伟达介绍,好处很具体。二十二个自由度的灵巧手,也能做精细活。

准备你的数据

微调第一件事,是把你的数据,做成 GR00T 要求的格式。它用的是 LeRobot 格式。这样模型才读得懂。格式最好别从零造。动手前,先查仓库说明,有没有转换脚本和示例。有,就照着改,省得从头折腾。每段数据要有画面、机器人状态、动作,还有任务指令。少一样,模型就对不上。全部对齐,才算一段好数据。还有个小文件,叫 modality。它说清楚,动作里每个数,对应机器人的哪个关节。它就像一张接线图。配置要是写错,训练照样能跑。但学出来的动作会对不上。所以先核一遍。先用示例数据练手,就几段录像。一只机械臂,把方块放进碗里。任务简单,适合上手。数据一齐,就能开练了。可训练要多大的机器?

一条命令开练

好消息是,微调不必从头训练。你只要在自己的数据上,接着往下练一小段。省时间,也省数据。命令就一行。指定基座模型和你的数据。再给上机器人标签和 modality 配置。参数不多,但每一个都要对。基座、数据、标签、配置,缺一不可。错一个,就白跑一场。单卡就能跑。用哪种显卡、要多少显存,以仓库说明为准。动手前,先查清楚。剩下的,就是等它把损失降下来。训练时看一眼曲线,别让它跑飞。稳稳往下,就对了。练一会儿,权重就存下来了。这份权重,就是你机器人的专属大脑。从头训练要很久,接着练一小段就行,省太多了!

评测与部署

练完怎么知道好不好?先做开环评测。开环,就是拿录好的数据。让模型预测动作,再和真实动作比一比。差多少,一目了然。把两组动作画成曲线。示意图里,一条是预测,一条是真实。两条线越贴近,越说明学到了,这最直观。差多少,可以用均方误差来量。它对大偏差特别敏感,能揪出那些离谱的预测。别只看一个数字。多测几段、换几个种子,再下结论。数字要经得起重复。但开环只是必要条件。预测得准,不等于真机上能把活干成。这点必须说清楚。要真的确认,得把它接到机器人上,跑闭环。在仿真里先跑,安全些。稳了,再上真机。部署也简单。起一个策略服务,机器人一端发画面、收动作。接口很干净。想更快,还能上 TensorRT。或者把它放到边缘设备上跑。看你部署在哪。还有一点要老实说。同一份数据跑两次,结果会有点抖动。别把噪声当提升。

动手:跑通示例

跟着做一遍。先把仓库连子模块一起克隆下来。漏了子模块,后面会报错。装好环境,登录 Hugging Face。再按仓库说明,申请所需权限。权限不全,加载会失败。然后用示例数据,跑微调用的那条命令。机器人标签选新本体那一档。训练时开着日志,盯住损失和吞吐。要是跑飞了,早点停。练完,跑一次开环评测。把预测和真实画在一起,看两条线贴不贴。一眼就能看出来。复现算不算成功?看两条线是不是明显更贴。也看它比没微调前,好多少。还没解决的是,开环好,不保证闭环稳。真机上,误差会一步步累积。回顾一下,三个要点。一,GR00T 是开放、可商用的人形大模型。二,微调要先备好 LeRobot 格式数据。三,一条命令接着练,再用开环评测把关。看懂它、备好数据、一条命令,你也能把大模型调成自己的!可这些成功率、这些改进,怎么判断是真的,还是被夸大了?下一集见!

证据与出处

30 亿 · GR00T N1.7 是 30 亿参数的开放视觉-语言-动作模型(看图、听指令、输出连续动作) [O] · NVIDIA · Hugging Face 博客《GR00T N1.7》

可商用 · 英伟达称 GR00T N1.7 是开放、带商用许可的模型 [O] · NVIDIA · Hugging Face 博客《GR00T N1.7》

20,854 小时 · GR00T N1.7 预训练用的人类第一视角视频时长(EgoScale,跨 20 多类任务) [O] · NVIDIA · Hugging Face 博客《GR00T N1.7》

翻倍以上 · 英伟达称,人类视频从 1000 小时加到 20000 小时,平均任务完成率翻倍以上(灵巧度 scaling law) [O] · NVIDIA · Hugging Face 博客《GR00T N1.7》

22 自由度 · 这条灵巧度规律,让 22 个自由度的灵巧手也能完成接触密集的精细任务 [O] · NVIDIA · Hugging Face 博客《GR00T N1.7》

动手与自测

小测公开,答案与解析在作答后显示;图文课里的练习答案需登录查看。

条形图:标题“CPU 替身实验:微调高于从头训练,远低于专家(本站自测)”,副标题说明是闭环成功率(%),每颗种子 200 个测试起点,本站自测,不是 GR00T。四条从零开始的横向条形自上而下为:基座直接用,3 颗种子平均,0.0%;从头训练,3 颗种子平均,10.7%;从基座微调,3 颗种子平均,33.2%,这一条被高亮;脚本专家,同一批起点,98.5%。底部是来源行。
本课程 CPU 替身实验(平面三关节臂 A 上预训练,迁到臂 B)的闭环成功率,每个模型每颗种子 200 个留出测试起点;图中是 3 颗训练种子的平均,由本课计算。高亮的是本文讨论的微调一行,从头训练更低,脚本专家更高;微调的逐种子值为 24.5% 到 41.5%,从头训练为 9.0% 到 12.0%,两组没有交叠,逐种子数字见正文表。这不是 GR00T,没有视觉输入,也不是真机结果。本站自测。

第 3.5 集的视频把开放的 GR00T N1.7 微调到一台新机器人上:先认识这个模型,再把数据做成 LeRobot 格式、写好 modality 配置,然后用一条命令在预训练的基础上接着练一小段,最后用开环评测把关,并提醒开环好不等于真机闭环稳。片中的数字卡都出自 NVIDIA 在 Hugging Face 上发布的 GR00T N1.7 博客。本篇是这一集的图文课与练习,不重复文字稿,只做视频点到、没有展开的三件事:把博客里那条微调命令逐个参数分清“博客写了什么、你要提供什么、要查仓库说明什么”;把 modality 配置当作接线图,在训练前用录制范围核对它,在评测时按维度报误差;再用本课程自己在 CPU 上跑的一个替身实验,看清训练集、验证集、测试集上的开环误差和闭环成功率各说明什么。贯穿全文的规则:开环误差和闭环成功率是两个量,要分开报告;一个数字只属于测出它的那个模型、数据和设置,替身实验的数字不能当成 GR00T 的结果。

本节视频、文字稿与出处在本页上方,全季安排见课程大纲。上一课物理AI实验室 3.4:长程任务,手算单步与整条链的成功率,看进度记忆改变了哪一项,再审一次只换高层的路由消融结尾问:低层那个策略,怎么调到你自己的机器人上?本课接着回答。GR00T N1 的双系统结构和参数,物理AI实验室 3.1:VLA 拆解,把一个放杯动作编成 256 个区间的词元,再给三个模型的参数量与频率标清口径拆过;LeRobot 数据集元数据怎样对到模型输入、步数与批量怎样分开记账,物理AI实验室 2.2:用 LeRobot 训练 ACT,把数据集元数据对到模型输入,再逐项核对训练与评测命令讲过;从开源基座微调一个 VLA 的命令和数字口径,物理AI实验室 2.3:微调 SmolVLA,为一句指令配好示范数据,核对每个数字的口径,再给异步动作队列算时间账讲过;配对表和区间,分别在物理AI实验室 1.8:评测,把“净增 2”拆成配对表,再给失败标签和随机种子算一笔账和物理AI实验室 2.8:可复现评测,手算 Wald 与 Wilson 区间,从 1/√n 定评测次数,再给零失败算出失败率上界里算过。本课不再重复这些,只讲 GR00T N1.7 博客给出的微调入口、modality 配置的核对,以及开环与闭环之间差多远。下一集 3.6 讲怎么读论文、复核数字。

公开小测的 5 道题附完整解析;登录后可完成三项练习:照博客命令为一台虚构机械臂写一份微调运行单,算出样本次数并按整段划分数据;按一份虚构的录制范围审 modality 配置草稿,再算逐维开环误差;用本课程替身实验的记录审一份虚构的评测备忘录,并改写它的结论。每项都附分步解法、常见错误与 20 分评分标准。

一、GR00T N1.7 博客写了什么,没写什么

这篇博客是 NVIDIA 对自家模型的介绍,2026 年 4 月 17 日发布,按本课程的分级属 O 级。下面的结构、数字和用途都是厂商报告,本站没有下载或运行 GR00T N1.7。博客开头写明这次发布的是 Early Access 版本,并称它是一个开放、带商用许可的人形机器人 VLA,原文是:

open, commercially licensed

片中“30 亿参数”的数字卡对应这一句:

GR00T N1.7 is a 3B-parameter open reasoning Vision-Language-Action (VLA) model that maps visual observations and natural language instructions to continuous robot actions.

博客说它用双系统设计:System 2 是以 Cosmos-Reason2-2B 为骨干的视觉-语言模型,System 1 是一个 32 层的扩散 transformer,接收 VLM 的输出和实时的机器人状态,去噪成电机指令(System 2 的原句 3.4 已经引过)。对微调最有用的是博客写明的输入和输出:

Inputs: RGB image frames (any resolution) + language instruction + robot proprioceptive state (joint positions, velocities, EEF poses)

Outputs: Continuous-value action vectors mapped to the robot’s degrees of freedom

按这两句,你的每段数据要能提供画面、指令和本体状态,模型输出的动作向量要能一维一维对到机器人的自由度。视频把说清这件事的文件叫 modality 配置;博客没有解释这个文件的格式。微调入口也只有一句:

N1.7 supports fine-tuning on custom embodiments using the LeRobot dataset format.

博客还说,模型在 Unitree G1、Bimanual Manipulator YAM 和 AGIBot Genie 1 上验证过,支持 NVIDIA Ampere、Hopper、Lovelace、Blackwell 和 Jetson 平台;预训练用了 20,854 小时的人类第一视角视频,人类视频从 1k 小时加到 20k 小时,平均任务完成率翻倍以上。这些都是 NVIDIA 的报告,博客没有给出任务清单和试验次数。

对动手的人来说,博客没写的同样重要:显存要求,2000 步微调要多长时间,微调后在任何机器人上的成功率,新本体该用哪个标签名,modality 配置的文件格式。推理性能只给了一个“4 步去噪、单相机视角”的链接,正文里没有数字。这些都要去仓库说明里查,不能从博客推出来。

局限 / 注意

  • GR00T N1.7 博客是 NVIDIA 对自家模型的介绍,属 O 级。参数量、验证平台、20,854 小时预训练视频、“翻倍以上”的完成率和“drop-in swap”都是厂商报告。本站没有下载或运行 GR00T N1.7,文中的命令照录博客,没有运行。
  • 博客没有给出显存要求、微调时长、微调后的成功率、新本体的标签名和 modality 配置格式;这些以仓库说明为准。视频里“单卡就能跑”对应的是博客命令的 --num-gpus 1,本站没有核实。
  • 博客的安装步骤克隆仓库默认分支,没有固定版本。参数名可能随仓库更新而变化,这是本课的推断。
  • 第四节的替身实验是本课程自己的 CPU 运行(2026-10-02,本站自测):平面三关节臂、小 MLP 策略、没有视觉输入,不是 GR00T,也不是真机。本文正文只转录了运行记录中的汇总数字,没有转录运行脚本和逐种子的 Wilson 区间。
  • 以下是本课的计算、整理或建议:三颗种子的平均值和比值,第二节的参数表,第三节的核对顺序,任务三第 4 项的下一步。
  • 臂 R、它的数据、限位、配置草稿、逐维误差、同事 Q 的备忘录和各迁移练习的数字都是虚构的。纸面计算、替身实验和仿真结果都不是硬件安全验证。

链接

观看本节视频(中文) · 3.5