前沿雷达|柔性压电触觉帽:TIAGo 夹爪上 32 个 PVDF 传感点,用 100 ms 窗口识别 6 种物体,作者报告 F1 0.9903、端到端约 101 ms,其中 100 ms 是在等数据

预印本把两块柔性压电阵列做成夹爪传感帽,用热力图加 2D-CNN 识别 6 种物体。作者报告:32 点、100 ms 窗口 F1 0.9903;STM32 上端到端约 101 ms,推理加预处理只占约 1.1 ms。

横向条形图,浅色背景,顶部标题“端到端约 101 ms 由三段组成”,底部是来源行。左侧三行阶段名,右侧从同一条竖直零线向右画出实心横条,长度按毫秒数成比例,条末标出数值:采集并传输 50 个样本(500 Hz)100 ms,横条几乎占满整个宽度;预处理(归一化)0.2062 ms;2D-CNN 推理(STM32)0.8817 ms。后两条短到接近零线。
arXiv 2611.07779 第 IV-3 节报告的端到端时延组成(作者报告):32 个传感点、W = 50 的 2D-CNN 部署在 Arm Cortex-M4F 内核的 STM32 微控制器上。论文把 50 个样本(500 Hz)的采集和传输合在一起计为 100 ms 的窗口时间,预处理和推理在板上测得,三段合计 101.0879 ms。条长从零起按毫秒数成比例,三段为并列的组成部分,排列顺序不是排名;论文没有单列其中的传输时间和接触起点的检测时间。依据论文第 IV-3 节与表 VI 绘制。

热那亚大学 DITEN 系等作者的预印本(arXiv 2611.07779,2026-11-05)把两块柔性压电触觉阵列封进硅胶,做成两只可拆卸的“传感帽”,套在 TIAGo 机器人夹爪的两侧,共 32 个传感点,目标是在抓取刚开始时就认出手里是什么物体。作者报告:用 32 个传感点、500 Hz 采样下 50 个样本(100 ms)的窗口,把信号画成时空热力图交给一个 2D-CNN,六种日常物体的 F1 为 0.9903;模型部署在 STM32 微控制器上,从接触起算的端到端时延约 101 ms,每次推理耗能 63.8 µJ。这篇值得细读的地方有两处:一是压电信号只对变化有响应,正好对应“刚碰上”的那一刻;二是 101 ms 里将近 100 ms 是在等数据窗口填满,而不是在计算。以下数字均为作者报告 [R],本站没有复现。

系统:两只传感帽、32 个点、500 Hz

每块传感阵列由 JOANNEUM RESEARCH 丝网印刷制成:在 100 µm 厚的柔性 PCB 上印底电极,再印 5.1 µm 厚的铁电聚合物 P(VDF-TrFE) 层和 PEDOT:PSS 顶电极,最后覆一层 UV 固化保护漆并沿厚度方向极化。一块阵列是 4 × 4 共 16 个传感点,空间分辨率 5 mm。作者用 3D 打印模具浇出贴合夹爪的内层硅胶帽,把阵列粘上,再浇第二层硅胶,整体以类皮肤的柔顺材料 Dragon Skin 封装,得到两只传感帽 SC1 和 SC2。

读出电路沿用作者团队此前的嵌入式电子板:一颗 32 通道模数转换器 DDC232 加一颗低功耗 Arm Cortex-M0 微控制器,以 500 Hz 同时采集 32 路信号,经扁平电缆接到上位机的 LabVIEW 界面记录。

传感器特性引自作者团队此前的论文:灵敏度随频率升高,在 1.5–31.96 pC/N 之间;非线性误差 2.3%;SINAD 约 56 dB。本文用电磁激振器加直径 4 mm 的刚性压头补测:1–100 Hz 正弦激励下输出电压随频率上升,最高约 5 mV,作者说明这与激振器的传递函数有关(压入力本身随频率变化);0.12–6 N 的方波激励下输出与力大致成线性。

为什么压电适合“刚碰上”那一刻

压电材料只在受力变化时产生电荷。论文图 4 记录了 TIAGo 抓起半瓶水的全过程:夹爪合拢时 32 路信号迅速升高;进入保持阶段后力趋于准静态,信号随之回落,只剩夹爪振动或瓶身变形带来的小幅波动;松开时又出现一个峰。作者据此认为,压电传感器更适合测量运动中的动态力,例如在最早接触的瞬间判断物体属性,而不适合测量静态夹持力。

实验用六种物体:玻璃瓶、电视遥控器、装了一半水的塑料瓶,以及 YCB 物体集中三种 3D 打印的水果(草莓、硬苹果、半软苹果)。机器人按“接近、抓取、保持、松开”的固定序列操作,每种物体重复 50 次,共 300 次试验;每次试验之间改变物体在夹爪中的位置和朝向。

三条识别路线,以及怎样切分数据

每次试验的信号按窗口长度 W 切段,W 取 50、100、150、200 个样本。作者比较三条路线:

  • 特征路线(FBA):每个传感点每个窗口先算 8 个统计特征,用 PCA 双标图排序后保留能量、峰峰值、最大值、最小值 4 个,交给 RBF 核 SVM。
  • 原始信号路线(EEA):归一化后的原始波形直接进 1D-CNN 或 C-RNN(卷积层后接 LSTM)。
  • 热力图路线(HMA):每个窗口内每个传感点取绝对值最大值,逐点做最小-最大归一化,再按两只传感帽上的实际排布摆成两张小矩阵(32 点时为两张 4 × 4),交给一个只有一层卷积(32 个 2 × 2 卷积核)的 2D-CNN。

传感点的数量按“活跃度”挑选:对每个传感点算归一化能量,取 300 次试验的中位数排序,依次取最活跃的 4、8、16、24 个和全部 32 个。PCA 图上,4 个传感点时轮廓系数为 0.08,16 个时为 0.16;16、24、32 个之间只差 10⁻³ 量级。作者因此只把 16、24、32 三组带进识别实验。

数据切分是这篇论文写得比较清楚的一点。作者指出,先切窗口再划分训练集和测试集,同一次抓取的高度相关片段会落进不同子集,造成信息泄漏。他们先按完整试验划分:以样本最少的类别为准,每类取 70% 进训练集,其余按 15% 和 15% 分给验证集与测试集,然后才在各子集内部切窗口,保证同一次抓取的所有窗口留在同一个子集里。论文没有写出测试集的具体试验数;如果划分单位是试验,每类 50 次试验的 15% 约为 7–8 次(本站推算)。

结果:传感点越多越好,窗口越短越好

下表是 W = 50 时各模型的 F1(论文表 V 与正文;EEA 两个模型分列):

路线与模型16 个传感点24 个传感点32 个传感点
HMA:热力图 + 2D-CNN0.97960.98460.9903
FBA:特征 + SVM0.94450.96040.9661
EEA:原始信号 + 1D-CNN0.90060.93850.9618
EEA:原始信号 + C-RNN0.88240.91020.9532

两点值得注意。第一,轮廓系数显示 16 个以上传感点对聚类几乎没有帮助,但四个模型的 F1 仍随传感点增加而上升,作者把这归因于抓取位置随机、不同次试验激活的传感点不同。第二,热力图路线只用 16 个传感点(0.9796)就已高于另外两条路线用全部 32 个点的最好成绩(0.9661 和 0.9618)。论文正文有一处写的是“只用一半传感点就达到 0.9846”,但按表 V,0.9846 对应 24 个点,16 个点是 0.9796;两种读法下这个结论都成立。

窗口长度的趋势与直觉相反:窗口越长,所有路线的 F1 越低。16 个传感点时,2D-CNN 从 W = 50 的 0.9796 降到 W = 200 的 0.9077,SVM 从 0.9445 降到 0.9253;1D-CNN 和 C-RNN 降幅最大,论文写作约 11%;32 个传感点时,2D-CNN 和 SVM 的降幅论文写作约 2%。W = 200 在 500 Hz 下相当于 400 ms(本站换算)。作者的解释是传感器带宽高、响应快,短窗口已包含足够的时空信息。另有一个论文没有分开讨论的因素:每次试验切出的窗口数是样本数除以 W,W 越大,训练用的窗口越少(本站推断)。

101 ms 花在哪里

作者把 32 个传感点、W = 50 的 2D-CNN 部署到一颗 Arm Cortex-M4F 内核的 STM32 微控制器上(用 STM32CubeIDE),报告的硬件指标如下:推理时间 0.8817 ms,功率 72.3 mW,每次推理能耗 63.8 µJ,占用 Flash 7.65 kB,每次推理 11.3 kFLOPs。72.3 mW 乘 0.8817 ms 约为 63.7 µJ,与报告值基本一致(本站核算)。

端到端时延由三段相加:在 500 Hz 下采集并传输 50 个样本需要 100 ms,在板上测得的预处理(归一化)为 0.2062 ms,模型推理为 0.8817 ms,合计 101.0879 ms。也就是说,计算只占约 1.1 ms,其余全是等窗口填满的时间。想把识别再提前,要改的是采样率或窗口长度,而 W 越短 F1 越高这一趋势只在 50 到 200 个样本之间测过,论文没有测比 50 更短的窗口。作者引用前人工作称,约 100 ms 内完成感知与抓取规划的流水线适合实时操作,并以此说明 101 ms 可以接受;这是作者的论证,论文没有报告用识别结果驱动机器人操作的闭环实验。

论文表 I 把本工作和七项此前的触觉物体识别研究并列,指出它们都没有报告硬件部署,只有一项报告了 GPU 上 103 ms 的响应时间。这些研究的传感器、物体和任务各不相同,表 I 是功能对照,不是同条件下的性能比较。

和本站课程的关系

物理AI实验室 1.3 把传感器分成相机、深度、力与触觉、本体感觉四类,讲到的触觉例子是胶垫后面藏相机、看压痕的那一种。本文是另一种触觉:压电点阵输出的是电荷变化,静止夹住时几乎没有信号,接触和松开时才有峰,所以它能回答“刚碰上的是什么”,却回答不了“现在夹得多紧”。前沿雷达对 PhysCanvas 的报道里,触觉以图像和标记位移的形式进入世界模型,可以对照着看两种触觉数据的形态差别。

物理AI实验室 2.6 练过从时延日志里拆出每一段耗时。本文的 101 ms 是一个现成的例子:先把“等数据”和“算”分开,就能看出换更快的芯片几乎不会缩短这里的时延。

局限 / 注意

  • 这是 arXiv 预印本,全部数字为作者报告 [R],本站没有复现。本站读到的正文没有给出代码或数据集地址。
  • 作者自述的局限:物体集小(6 种),只用一个机器人平台和一种预定义的“抓取-保持-松开”动作。三个水果是 3D 打印件,不是真实水果。
  • 论文没有写出测试集的试验数或窗口数,也没有报告多次重复训练的方差或置信区间。0.9796、0.9846、0.9903 之间的差别可能只对应很少几个窗口,本站无法判断这些差别是否稳定。
  • 按论文的数据集定义(每次完整试验按 W 切成多个窗口),本站理解 F1 是对整段抓取序列切出的所有窗口计算的,包括保持和松开阶段;论文没有明说测试 F1 包含哪些窗口。本站读到的正文没有单独报告“接触后第一个窗口”的识别率,也没有说明在线运行时怎样检测接触起点。“用接触后前 50 个样本识别物体”是作者的结论,表中数字并不直接测量这一点。
  • 101 ms 是三段耗时相加:论文把 50 个样本(500 Hz)的采集和传输合在一起计为 100 ms 的窗口时间,预处理和推理在 STM32 上测得。正文没有单独列出其中的传输时间,也没有报告用识别结果驱动机器人操作的闭环结果。
  • 63.8 µJ 只是模型推理一次的能耗,不包括传感器、模数转换器和采集板的功耗。
  • 摘要称触觉通过直接提供纹理、形状等物体物理属性的信息,在实现安全、高效抓取上常优于视觉方案,但本研究没有设视觉基线,这一句是背景陈述,不是本文的实验结论。
  • 识别准确率不是抓取安全性或可靠性的验证;论文没有测试打滑、更多物体或其他夹爪,这些在作者的后续计划里。

链接