GelSight技术赋予机器人“类人”触觉 能感知物体硬度和形状

八年前， Ted Adelson’s研究小组在麻省理工学院的计算机科学和人工智能实验室 (CSAIL) 推出了一种新型传感器技术, 称为 GelSight, 它与物体接触，并且能提供一个非常详细的3D曲面图。

如今，通过将GelSight传感器安装在机器手臂的夹具上，两个MIT团队给予机器人更大的灵敏度和灵巧度。 研究人员在上周在国际机器人与自动化大会上发表了两篇文章。

在一篇论文中，Adelson’s group 使用GelSight传感器的数据，使机器人能够判断其接触的表面的硬度——如果家庭机器人能够处理日常物体, 这是一个至关重要的能力。另外一篇论文中，Russ Tedrake’s Robot Locomotion Group使用GelSight传感器，使机器人能够操纵比以前更小的物体。

在某种程度上,  GelSight 传感器是一个低技术的解决难题的方法。这款GelSight传感器，主要部分是一块一面贴有金属涂层的透明橡胶。当这个金属面被按压到物品上时，该物品的形状就会被橡胶层记录下来。接下来，由于金属涂层具有很好的光折射率，物品的表面信息就通过光线折射被系统收集，并通过计算机算法还原该物品的三维图像。

与上一代传感器技术相比，该技术能够收集不同角度下的折射光线，通过光线的变化确认物品的位置及周围环境情形。即使机器人视觉相机被遮挡，由于折射光线的路径被改变，仍然有足够的信息能够被传感器收集，从而通过计算机算法计算出物品的三维位置。该传感器配备的橡胶，能够更精准的通过按压与物品反弹测量物品的硬度信息，内部测试表明该技术具有测量硬度速度快、准确高的特点。

联络点
对于一个自主的机器人来说, 测量物体的柔软度和硬度是至关重要的，它决定了机器人在移动堆积或放置在不同的表面时的行为。触觉感知还可以帮助机器人区分看似相似的物体。

在以前的工作中, 机器人试图通过把物体放在平坦的表面上, 并轻轻地戳它们来观察它们的反应, 以此来评估它们的坚硬程度。但这不是人类测量硬度的主要方式。相反, 我们的判断似乎是基于在我们按下物体和手指之间的接触面积变化的程度；柔和的物体趋于扁平化, 增加接触面积。

麻省理工学院的研究人员采用了同样的方法,使用糖果模具创造400组硅胶物体，每组16个对象。在每组中，对象具有相同的形状，但硬度不同。

然后，研究人员手动按下每个对象的GelSight传感器，并记录了接触模式随时间变化的情况，基本上为每个对象制作一个短片。为了使数据格式标准化并保持数据的可管理性，研究人员从从每部影片中抽取了五帧，并在时间上进行了均匀的间隔, 记录被压物体的变形情况。

最后, 研究人员将数据反馈给神经网络, 它自动地寻找接触模式变化和硬度测量之间的相关性。所生成的系统以视频帧作为输入, 并以非常高的准确度产生硬度分数。研究人员还进行了一系列的非正式实验, 人类受试者接触水果和蔬菜, 并按硬度进行排列。在每一个实例中, 配备GelSight的机器人都达到相同的排名。

受阻视图
通常，自主机器人将使用某种计算机视觉系统来指导其对环境中物体的操纵。这样的系统可以提供关于对象位置相对可靠的信息，直到机器人拾取物体为止。但是当物体很小时，它的大部分将被机器人的爪夹遮挡，使位置估计更加困难。因此，机器人需要准确地知道物体的位置。

这就是研究人员转向研发GelSight技术的原因。研究人员使用计算机视觉系统来引导机器人的夹持器朝向工具，然后一旦机器人掌握了工具，就将位置估算转换为GelSight传感器。

一般而言，采用这种方法的挑战是将由视觉系统产生的数据与由触觉传感器产生的数据相协调。但是GelSight本身就是配备摄像头的，所以它的数据输出比其他触觉传感器的数据更易于与视觉数据进行集成。

在实验中，装有GelSight的夹具的机器人必须抓住一把小螺丝刀，将其从皮套中取出并将其退回。当然，GelSight传感器的数据并没有描述整个螺丝刀，只是一小部分。但是，只要视觉系统对螺丝刀的初始位置的估计精确到几厘米以内，他的算法就可以推断出GelSight传感器所接触到的是螺丝刀的哪一部分，从而确定螺丝刀在机器人手中的位置。

研究人员认为，GelSight技术以及其他高带宽触觉传感器将对机器人产生巨大的影响。

“对于人类而言，触觉是手工灵巧的关键因素之一，目前的机器人缺乏这种灵巧性, 并且在操纵物体时对表面特征的反应能力有限。你想象一下，你在黑暗中摸索一个电灯开关，或者从你的口袋里提取一个物体，又或者你还可以做其他许多事情，这些都依赖于触觉传感。通过深入学习和计算机视觉创新的机器学习算法，可以处理来自GelSight等传感器的丰富的感官数据，从而推导出对象属性。将来，我们会将这些学习方法纳入端到端训练的操纵技能，这将使机器人更加灵巧和有能力。”