PolyTouch：一种利用触觉扩散策略实现丰富接触操作的稳健多模态触觉传感器-CSDN博客

本文链接：https://blog.csdn.net/yorkhunter/article/details/148777939

25年4月来自MIT和TRI的论文“PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-rich Manipulation Using Tactile-Diffusion Policies”。

在非结构化的家庭环境中实现稳健的灵巧操作仍然是机器人技术的重大挑战。即使采用最先进的机器人学习方法，触觉无关控制策略（即仅依赖外部视觉和/或本体感觉的策略）也常常由于遮挡、视觉复杂性以及需要精确的接触交互控制而失败。为了突破这些限制，PolyTouch，一种机器人手指，将基于摄像头的触觉感知、声学感知和外围视觉感知集成到一个紧凑耐用的单一设计中。PolyTouch 提供跨多个时间尺度的高分辨率触觉反馈，这对于高效学习复杂的操作任务至关重要。实验表明，与商用触觉传感器相比，它的使用寿命至少提高 20 倍，而且设计易于制造且可扩展。这种多模态触觉反馈以及视觉本体感受观察，从人类演示中合成触觉扩散策略；由此产生的接触感知控制策略在多种接触感知操控策略中的表现显著优于触觉无关策略。

下表是PolyTouch的指标：

请添加图片描述

PolyTouch 的设计目标有三方面：手指需要灵敏、耐用且易于制造。

传感

PolyTouch 配备三种传感模式：基于摄像头的触觉传感、声学传感和周边自然视觉传感。如图所示其主要构造：

请添加图片描述

基于摄像头的触觉传感：PolyTouch 的触觉传感是通过在手指内部嵌入一个 RGB 摄像头，指向透明弹性体来实现的。提供两种可替换的透明弹性体：
• VHB 弹性体：透明 3M VHB 双面胶带，其外表面覆盖有 45μm 反光铝粉。
• 硅胶弹性体：Silicones Inc. 的 XP-565 硅橡胶，外表面涂有 PRINT-ON 灰色硅胶油墨。

VHB 弹性体的制造比硅胶弹性体更容易、更快捷。然而，VHB 胶带是一种粘弹性材料，在移除接触后需要一段时间才能恢复到原来的形状，而有机硅的弹性体响应速度要快得多。弹性体位于透明丙烯酸背板的顶部。丙烯酸底部较短的一侧用蓝色 LED（λ = 450nm）照明。较长的两侧涂有粉色和绿色荧光漆（Liquitex BASICS，荧光粉色和荧光绿）。这两种颜色的荧光漆吸收波长较短的蓝光，然后将能量以粉色和绿色的长波光发射出来。Adelson 在 [24] 中首次提出在触觉传感器中使用荧光漆作为照明源的方法，与 GelSight、DIGIT 和类似传感器 [7, 25] 中使用的多色 LED 相比，它具有体积小、功耗低的优点。荧光漆发出的粉色和绿色光比 LED 发出的蓝光弱。虽然人眼可以轻松分辨不平衡的色彩，但蓝光很容易使大多数光学传感器饱和。为了解决这个问题，在丙烯酸背板内侧粘贴一块透明的黄色乙烯基滤光片，以减少到达摄像头的蓝光量。

为了在不需要多个摄像头或增加手指尺寸的情况下实现更大更长的感应区域，在手指背面放置一个曲面镜，类似于 GelSight Svelte [26, 27] 和 GelLink [28]。镜子的曲率和位置经过精心设计，使得 (1) 从摄像头的视野中可以看到丙烯酸背板的整个内表面；(2) 摄像头应与背板具有近乎正交的视角，以便摄像头可以看到来自各个方向的光线，这意味着嵌入在颜色中的深度信息将得到更好的保留；(3) 曲面镜引入的畸变应最小化。最终设计的反射仿真结果如图所示。

请添加图片描述

基于接触式麦克风的声学传感：Poly-Touch 背面放置了一个压电接触式麦克风，用于采集声学信号。接触式麦克风以 48 kHz 的频率采样，音频文件与触觉视频流同步保存或传输。音频和视频均由 Raspberry Pi 录制，然后 Raspberry Pi 对信号进行转码，最后将其保存为 .mp4 文件或传输到机器人工作站。
周边视觉传感：PolyTouch 内部的摄像头不仅收集触觉信息，还借助两个侧窗采集周边视觉信号。侧窗与镜子相结合，使传感器能够同时看到接触面周围区域和传感器下方区域。如图展示周边视觉传感的可见区域：（a）触觉、声觉和周边视觉的PolyTouch，（b）双手触觉-扩散任务：鸡蛋分装、水果分类、打鸡蛋、扳手插入。

请添加图片描述

耐用性和可替换性

基于摄像头触觉传感器的耐用性问题通常与传感器中的弹性体有关，因为弹性体必须与外部环境直接且反复接触。问题有两个方面：弹性体在过大的力/扭矩下会分层，并且表面在持续磨损下会磨损或撕裂。分层问题主要影响使用硅胶作为弹性体的传感器，因为将硅胶粘合到非硅胶材料上并保持光学透明度非常困难。PolyTouch 的 VHB 弹性体选项提供一种替代方案，其本身具有高粘性，几乎完全消除分层问题。

通过在传感器的传感表面应用保护膜可以提高耐磨性和抗扭转性。一种流行的选择是 3M Tegaderm 薄膜，它最初是作为伤口保护膜推出的。然而，这种薄膜很薄，在持续磨损和扭转下的使用寿命有限，而且容易起皱。 PolyTouch 选择 3M Nextcare Soft & Stretch 胶带作为外保护层，其表面特性与人体皮肤相似，不易起皱。

PolyTouch 还设计快速弹性体更换机制，可以轻松快速地滑出并更换新的弹性体。

如图所示PolyTouch的解刨图及其部件成本估计：

请添加图片描述

可制造性

PolyTouch 的设计旨在最大限度地减少对特殊设备或专业知识的需求。PolyTouch-VHB 弹性体的制造不需要任何特殊设备或专业知识：只需将胶带粘贴到激光切割的亚克力背板上，然后在胶带外侧擦拭铝粉即可。对于具有基本动手技能的新手来说，制作一个 VHB 弹性体只需不到 5 分钟。PolyTouch-Silicone 中硅胶的制造工艺与其他流行的软传感器类似，例如 GelSight [7]、DenseTact [14] 和 ReSkin [29]。

采用一个固定底座双手硬件平台，该平台由两个直立安装的 Franka Panda 机械臂组成。每个机械臂配备一个腕式摄像头 (FLIR Blackfly S)。两个固定场景摄像头 (FRAMOS D415e) 的位置使其能够清晰地看到活动工作空间。机器人本身在每个夹持器上配备两种手指：一个用 TPU 3D 打印的带槽被动柔顺鳍状 [30]，以及一个 PolyTouch-VHB 手指。这种特殊的夹持器配置可以很好地抓握任意形状的操作器，并能牢牢抓住工具手柄。所有技能都在机器人装置旁边的工作台上进行演示，并且在数据收集过程中，机器人由两个 6 自由度空间鼠标进行遥控。

模态编码

时间步长 t 的观测值及其编码方法详述如下：
• 从安装在每只手臂上的 PolyTouch 获取触觉和周边视觉 O^t_tp 的 RGB 图像。它们由预训练的 T3 [31] 编码器进行编码。T3 是一个触觉表征学习框架，已从大规模多传感器和多任务数据集进行预训练。
• 从双臂获取腕部视图 O^t_wrist 和场景视图 O^t_scene 的 RGB 图像。它们由预训练的 CLIP 特征提取器 [32] 进行编码。
• 从安装在每只手臂上的 PolyTouch 获取音频信号 O^t_aud 的声波。它们首先被转换为对数-梅尔 (log-mel) 声谱图，然后传入音频声谱图 transformer (AST, [33]) 进行特征提取。
• 双臂本体感觉 O^t_ptrop，包括实际和期望的 6D EE 姿态以及夹持器宽度，均由多层感知器 (MLP) 编码，然后与其他模态特征组合。

模态组合器旨在组合来自各个模态的编码特征。预训练的 CLIP 视觉特征提取器和预训练的 T3 触觉特征提取器的骨干架构均为视觉transformer （ViT） [34]，来自 O^t_tp 和 O^t_scene 的编码特征与 6 块 12 头交叉注意机制组合。然后，将输出进行池化（通过提取分类token），并通过连接层和投影层与其他模态的池化或投影特征组合。