
越野机器人装了四路相机,并不等于每一路在每一刻都可信:树冠遮挡、明暗突变、单路掉帧都会让某个方向的画面变差,而激光雷达在结构稀疏的地方又会在某些位姿方向上约束不足。哈尔滨工业大学机器人技术与系统国家重点实验室的 Zihan Pan 等人在预印本 QVS-LIVO RiskMap(arXiv 2611.16205)里把多相机的两种用途拆开:状态估计每次最多只采用一路相机做光度修正,选不出或修正没通过检查就保留激光–惯性结果;语义风险建图则使用全部可用视角。作者报告,在 350.12 s 的 Dataset#2 上水平 RMSE 为 1.664 m,四路联合使用的 Joint VIO 为 3.306 m。以下数字均为作者报告 [R],本站没有运行作者的代码。
平台与要解决的问题
实验平台基于 AgileX Scout Mini 底盘,装一台内置 IMU 的 Airy 激光雷达和四台 Intel RealSense D435i,分别朝前、左、后、右。每台相机水平视场 69°,四路互不重叠,相邻之间有空隙;四根支撑柱又把激光雷达的水平覆盖切成四个 86° 的扇区。四台相机没有硬件同步,靠源时间戳在软同步窗口内配对。机载计算是 NVIDIA Jetson AGX Orin。另有一套独立的 C430i RTK-GNSS/INS 以 1 Hz 记录参考位置,只用于离线评估水平轨迹,定位和建图都不使用它。
估计器沿用 FAST-LIVO2 的激光–惯性估计与直接光度更新框架。论文的出发点是:画面质量好的视角,可能只是在加强激光雷达已经约束得很好的方向;能补上激光雷达弱方向的视角,画面又可能不可靠。把退化的视角或时间对不上的图像塞进位姿更新,既费算力,也可能把位姿带偏。建图的需求不同:一路没被选去定位的相机,仍可能拍到主视野外的障碍物。
定位前端:怎样挑出那一路相机
每个周期的流程如下,参数取自论文表 2 的实验设置:
- 组批:按源时间戳,在 [t0, t0 + 2Δs] 内每台相机最多取一张图,软同步容差 Δs = 20 ms。
- 只读预跟踪:每个视角都在同一个激光–惯性后验上算残差和位姿雅可比,但不改动后验和视觉地图,作为比较的共同基准。预跟踪点预算共 240 个,每个视角最多 60 个。
- 健康度 h:七项指标各自归一化到 [0, 1] 后加权平均,权重为跟踪点数 25%、跟踪成功率 15%、光度残差 20%、图像覆盖 10%、过曝像素比例 10%、暗像素比例 10%、平均梯度 10%。
- 互补性 c:对归一化后的激光雷达信息矩阵做特征分解,信息量低于阈值(最大特征值的 5%)的方向得到更大权重,再看该视角的视觉信息落在这些弱方向上有多少。c 在当批合格视角里除以最大值,得到 c̃ ∈ [0, 1]。综合分 q = h × (1 + γc̃),γ = 2。
- 通道状态:每台相机处于 Healthy、Degraded、Isolated、Probation 四种状态之一。持续低健康度或跟踪失败判为退化,硬性图像故障直接隔离;恢复中的通道进入 Probation,满足健康观测次数和恢复时长后才重新合格,中途再出问题就退回 Isolated。
- 切换滞回:当前选中的视角仍合格时,挑战者的 q 必须连续 3 个有效周期都超过当前视角的 1.10 倍(裕度 m = 0.10)才切换;当前视角一旦不合格,立即重选。
- 提交前检查:批次、相机、时间戳和后验代数与评估时不一致就拒绝;健康度越低,视觉协方差放大越多,放大系数 κ = min(10, 1 / max(h, 0.10));求解后再检查残差、位姿增量和法方程的数值有效性。任一项不通过,保留原后验,丢弃这次修正。
下面用一组本站虚构的数字说明综合分怎样排序(不是论文数据)。当前选中的相机 A:h = 0.80,c̃ = 0.25,q = 0.80 × 1.5 = 1.20。挑战者 B 画面较差但正好补激光雷达的弱方向:h = 0.60,c̃ = 1.00,q = 0.60 × 3 = 1.80。1.80 大于 1.10 × 1.20 = 1.32,但 B 还要连续 3 个有效周期保持领先才会被切换上来;切上来以后,κ = 1 / 0.60 ≈ 1.67,它的光度残差会被按健康度降权。γ = 2 意味着互补性最多能把一个视角的分数放大到 3 倍,所以健康度低一截但互补性强的视角可以胜出。
风险建图:几何决定上限,语义只做有界修正
建图分支独立于定位选择,使用所有可用相机。语义网络 TraverNet 由 Ultralytics YOLO26s 稠密语义模型改成四类:grass、road、tree、other。语义结果按源时间戳与点云配对(窗口 0.5 s),投影到世界坐标的 2.5D 栅格;多个视角覆盖同一点时取光学深度最小的那一路;语义证据按 5 s 半衰期衰减。
几何部分由坡度、台阶高度和粗糙度组成连续风险。车辆通行高度带内有地面以上结构的格子,风险直接取最大值,与语义类别无关。语义只能在非占据格上做修正,权重上限 0.35,保证几何保有更大的连续权重。确认规则分两路:满足占据置信阈值的硬障碍立即确认;由坡度或台阶引出的候选需要至少 2 个连通格,并在最近 3 次评估中至少 2 次投票。高置信的低风险语义或走过的轨迹可以否决候选票,但不能撤销硬障碍,也不能单独生成已确认的高风险。没有有效几何观测的格子保持“未知”,不当作零风险。输出有三种:局部 Risk BEV、全局 2.5D 语义–地形风险图和障碍物实例体素。
作者报告 TraverNet 四类 mIoU 在 11 张本地验证图上为 82.29%,在 962 张 GOOSE 验证图上为 70.37%。Dataset#1 的场景统计里,road、grass、other、tree 的平均风险依次为 0.159、0.287、0.660、0.741。所读正文没有给出风险图对照可通行性真值的定量评估。
作者报告的定位与故障结果
两条实地序列 Dataset#1(178.78 s)和 Dataset#2(350.12 s)都包含越野地形和铺装路面,参考轨迹来自 C430i。四种视觉用法都基于 FAST-LIVO2:LIO 关闭视觉更新;Front VIO 只用前相机,对应 FAST-LIVO2 原始配置;Joint VIO 四路联合;QVS-LIVO 每次最多选一路。η_V 是有效视觉跟踪时间占比,Joint VIO 只要任一路有效就算有效,QVS-LIVO 只看被选中的那一路。
| 方法 | Dataset#1 RMSE(m) | Dataset#1 η_V(%) | Dataset#2 RMSE(m) | Dataset#2 η_V(%) |
|---|---|---|---|---|
| LIO | 1.042 | – | 2.465 | – |
| Front VIO | 1.222 | 44.9 | 5.833 | 64.9 |
| Joint VIO | 1.190 | 90.0 | 3.306 | 96.0 |
| QVS-LIVO | 0.910 | 86.6 | 1.664 | 95.3 |
这张表最值得看的是 Joint VIO:Dataset#2 上它的视觉跟踪时间占比最高(96.0%),水平 RMSE 却是 3.306 m,比完全不用视觉的 LIO(2.465 m)还高。作者的解读是,跟踪可用不等于位姿约束更好,退化或冗余的视角对激光–惯性后验帮助有限。着色地图方面,QVS-LIVO 因为建图用四路,有效着色体素数分别在 Dataset#1 和 Dataset#2 上是 Front VIO 的 2.24 倍和 3.02 倍,略少于同样四路着色的 Joint VIO。
与外部基线比较时,FAST-LIO2(论文使用的车辆兼容版本)两条序列分别为 0.987 m 和 2.933 m,QVS-LIVO 相对它低 7.8% 和 43.3%;ORB-SLAM2 为 1.197 m 和 4.425 m,ORB-SLAM3 为 1.323 m 和 4.011 m,LOAM 为 5.682 m 和 7.036 m。
故障实验只在 Dataset#2 上做:在源时间 [105, 120) s 内,对前、左、后、右某一台相机施加一种故障,其余输入不变,三种故障乘四台相机共 12 种配置。
- 掉帧:所评估的 Joint VIO 实现在四种配置下都出现处理积压并终止轨迹;只用前相机的 FAST-LIVO2 在前相机掉帧时从 5.83 m 升到 14.40 m;ARTI-VIO 从 7.27 m 升到 17.42–29.24 m;QVS-LIVO 为 1.76–2.21 m。
- 黑帧:Joint VIO 为 2.08–2.39 m;QVS-LIVO 前、后、右相机故障时为 1.75 m、1.86 m、1.94 m,左相机故障时两者都是 2.09 m。
- 时间戳偏移 +60 ms:前相机 ORB-SLAM2 从 4.43 m 升到 58.70 m;Joint VIO 为 2.14–3.25 m,QVS-LIVO 为 1.54–2.23 m;左相机这一项 Joint VIO 略低(2.14 m 对 2.23 m)。
12 种配置下 QVS-LIVO 都给出完整轨迹,水平 RMSE 1.54–2.23 m,比不依赖相机的 FAST-LIO2 正常运行结果 2.93 m 低 23.9%–47.4%。需要注意,12 种故障配置里最低的 1.54 m 比 QVS-LIVO 正常输入时的 1.664 m 还低。本站推断,这可能反映单次运行之间的波动,也可能是故障改变了选中的视角;论文没有报告重复运行或离散度,故障配置之间零点几米的差距不宜读成确定的排序。
机载运行时间
在 AGX Orin 上,局部 Risk BEV 输出频率 9.94 Hz,处理时间中位数 32.4 ms、P95 37.9 ms(观测窗口 30 s);全局地图 2.00 Hz,中位数 486.4 ms、P95 516.1 ms(观测窗口 180 s)。论文表 2 里两者的配置发布频率就是约 10 Hz 和约 2 Hz,所以 9.94 Hz 和 2.00 Hz 是按配置节奏达到的输出频率,不能据此读出处理能力的上限。全局地图的 P95 已超过 2 Hz 对应的 500 ms 周期(本站计算),所读正文没有说明流水线怎样处理这部分超时。上面这些时间都属于建图;定位前端在 Orin 上的单周期耗时,所读正文没有单独给出。
和本站课程的关系
物理AI实验室 1.3 讲过:一种传感器只看世界的一个侧面,传感器都不完美,需要互相印证。这篇论文给出了一个具体做法:先在共同的激光–惯性后验上给每路相机打分,再决定让不让它改动位姿,不合格就退回原结果。读运行时间时,频率、中位数和 P95 各说明什么,以及配置频率和能力上限的区别,可以对照 物理AI实验室 2.6。论文没有报告 12 种故障配置的重复运行,怎样按条件拆开读结果、为什么要看重复次数,见 物理AI实验室 1.8。全季安排见课程大纲。
局限 / 注意
- 这是 arXiv 预印本,全部数字为作者报告 [R],本站没有复现。论文称代码和相关资源已公开,本站没有检查该仓库。
- 评估只有一台平台、两条序列(178.78 s 和 350.12 s),参考是 1 Hz 的 RTK-GNSS/INS,指标只覆盖水平误差。论文没有报告重复运行、置信区间或离散度。
- 故障实验只在 Dataset#2 的 15 s 区间内对单台相机注入,不覆盖多路同时故障或更长时间的退化。Joint VIO 掉帧后终止,论文限定为“所评估的 Joint VIO 实现”,不能推广到所有联合融合方法。
- 风险图部分给出的是语义分割 mIoU 和各类平均风险,所读正文没有可通行性真值或导航结果。本地语义验证集只有 11 张图。
- 本站读到的正文在讨论一节中途截断,作者自己写的局限部分没有读到。
- 文中相机 A、B 的数字是本站虚构的教学例子,不是论文结果。这是实地数据与离线回放评估,不是硬件安全验证。
链接
- QVS-LIVO RiskMap: Health- and Information-Aware View Selection for Multi-Camera LIVO and Off-Road Risk Mapping(arXiv 2611.16205)
- 论文 HTML 全文
- 物理AI实验室 1.3:传感器,用一只杯子手算像素、深度量程与夹紧力
- 物理AI实验室 2.6:上边缘,从时延日志算出控制频率上限,分清量化省下的是体积还是时间,再给动作块定长度
- 物理AI实验室 1.8:评测,把“净增 2”拆成配对表,再给失败标签和随机种子算一笔账
- 物理AI实验室:一套每个数字都能核对的物理 AI 课程



