MIT发明“循环学习”方法优化了对软机器人的控制

过去，对软机器人实现控制自如对机器人专家来说，是一项艰巨的任务。

MIT研究人员发明了一种方法，可以有效地优化用于对目标软机器人的控制和设计。

软机器人具有弹性、柔韧性、可拉伸的主体，这些主体在任何给定时刻基本上可以移动无数种方式。通过计算，这代表了一个高度复杂的“状态表示”，它描述了机器人各部分的运动方式。软机器人的状态表示可能具有数百万个维度，这就很难计算出使机器人完成复杂任务的最佳方式。

在下个月举行的神经信息处理系统会议上，麻省理工学院的研究人员将展示“循环学习”模型。

该模型基于神经网络的基本物理知识，学习紧凑或“低维度”但详细的状态表示形式、机器人及其环境等因素。这有助于模型优化满足特定任务的运动控制和材料设计参数。

“软机器人是无维度的生物，它们在任何给定的时刻都会以十亿种不同的方式弯曲，”第一作者安德鲁·斯皮尔伯格（Andrew Spielberg）说，他是计算机科学和人工智能实验室（CSAIL）的研究生。“但是，事实上，软机器人可能会自然弯曲。在低维描述中，可以非常紧凑地描述软机器人的自然状态。通过学习对可能状态的良好描述，我们优化了软机器人的控制和设计。”

CSAIL的研究生Allan Zhao，Tao Du和Huyuanming则是与Spielberg一同加入论文的人。CSAIL总监Daniela Rus以及电机工程和计算机科学系的Andrew and Erna Viterbi教授；麻省理工学院电气工程与计算机科学副教授，计算制造小组负责人Wojciech Matusik。

“循环学习”使软机器人效率更高

在仿真学习中，该模型使2D和3D软机器人能够比更快、更准确地完成任务，例如移动一定距离或到达目标位置。研究人员接下来计划在真正的软机器人中实施该模型。

软机器人技术是一个相对较新的研究领域，但它对高级机器人技术有希望。例如，柔性车身可以提供与人类更安全的交互，更好的物体操纵和更大的可操纵性，以及其他好处。

在仿真中对机器人的控制依赖于“观察者”，该程序计算变量以查看软机器人如何移动以完成任务。在以前的工作中，研究人员将软机器人分解为手工设计的模拟粒子簇。粒子包含重要信息，有助于缩小机器人的可能运动范围。例如，如果机器人试图以某种方式弯曲，执行器可能会抵抗该运动，以至于可以忽略不计。但是，对于这种复杂的机器人，在仿真过程中手动选择要跟踪的集群可能很棘手。

在这项工作的基础上，研究人员设计了一种“循环学习”的优化方法，其中所有优化的参数都是在许多模拟的单个反馈环中学习的。而且，在学习优化（或“在循环中”）的同时，该方法还可以以学习状态表示。

循环学习模型采用一种称为“材料点方法”（MPM）的技术，该技术可模拟被背景网格包围的诸如泡沫和液体之类的连续材料颗粒的行为。这样，它可以将机器人的粒子及其可观察的环境捕获为像素或3D像素（称为体素），而无需进行任何其他计算。

在学习阶段，此原始粒子网格信息被馈送到机器学习组件，该组件学习输入图像，将其压缩为低维表示，然后将表示解压缩为输入图像。如果此“自动编码器”在压缩输入图像时保留了足够的细节，则可以从压缩中准确地重新创建输入图像。

在研究人员的工作中，自动编码器学习到的压缩表示形式用作机器人的低维状态表示形式。在优化阶段，该压缩表示形式将返回到控制器，该控制器将为机器人的每个粒子在下一个MPM模拟步骤中应如何运动输出计算所得的激励。

同时，控制器使用该信息来调整每个粒子的最佳刚度，以实现其所需的运动。将来，该材料信息可能会用于3D打印软机器人，在该机器人中，每个粒子点的打印刚度可能会略有不同。斯皮尔伯格说：“这允许根据机器人的动作创建与特定任务相关的机器人设计。” “通过一起学习这些参数，您可以使所有内容尽可能地保持同步，从而使设计过程更加容易。”

低维状态具有非常好的描述性

依次将所有优化信息反馈到循环的起点，以训练自动编码器。在许多模拟中，控制器学习最佳运动和材料设计，而自动编码器学习越来越详细的状态表示。斯皮尔伯格说：“关键是我们希望低维状态具有非常好的描述性。”

机器人在设定的时间段内达到其模拟的最终状态（例如，尽可能接近目标位置）后，它会更新“损失函数”。这是机器学习的关键组成部分，它试图最大程度地减少一些错误。在这种情况下，它可以最大程度地减少机器人距目标的距离。该损失函数流回到控制器，该控制器使用误差信号调整所有优化的参数，以最好地完成任务。

斯皮尔伯格说，如果研究人员试图将模拟的所有原始粒子直接送入控制器，而没有压缩步骤，则“运行和优化时间将会激增”。使用压缩表示，研究人员能够将每次优化迭代的运行时间从几分钟减少到大约10秒。

研究人员在各种2D和3D两足动物和四足动物机器人的仿真上验证了他们的模型。他们的研究人员还发现，尽管使用传统方法的机器人最多可以进行30,000个仿真来优化这些参数，但是在模型上训练的机器人仅进行了约400个仿真学习。

将模型部署到实际的软机器人中意味着解决现实噪声和不确定性问题，这些问题可能会降低模型的效率和准确性。但是，将来研究人员希望为软机器人设计从仿真到制造的完整流水线。