666原来可以这样训机器人

最近CoRL 2019发布了谷歌的ROBEL基准。

ROBEL基准是什么呢？

ROBEL基准是由加州大学伯克利分校和Google Brain的研究人员研发的关于机器人学习的低成本基准。

ROBEL是一个快速的实验平台，支持广泛的实验需求和开发新的强化学习和控制方法，主要用于促进现实世界物理硬件研究和开发的基准任务。

ROBEL的任务定义包括密集和稀疏任务目标，并在任务定义中引入硬件安全指标。

ROBEL由两只机器人组成，适用于不同的强化学习研究任务。并配套相应的开源代码，和精心设计的基准测试。

第一台是三指手形机器人，名为D’Claw，擅长学习灵巧操作任务。价格3500美元（约合人民币2.5万元）。

D’Claw执行任务的过程中有三种常见的操纵行为。

变化姿势、旋转以及拧紧。

另一台四足机器人，名叫D’Kitty，是只小猫咪，擅长学习敏捷移动。

它的三种基准测试动作，是站立，定向和行走。价格4200美元（约合人民币3万元）。

迄今为止，ROBEL进行了长达14000多个小时的训练，能够胜任多种机器学习算法。

并且，两个不同的实验室分别对ROBEL进行了“试用”。仅使用ROBEL的设计文件和装配说明，两个实验室都成功复现了ROBEL的两个硬件平台。

两个实验室都对自己组装起来的ROBEL进行了基准任务测试。两条训练曲线几乎重合。也就是说，在不同地点建造的两只机器人，不仅表现出了相似的训练进度，并且最终都收敛到了同一性能水准。

ROBEL的设计都基于现成的组件和常用的原型制作工具（3D打印或激光切割），具有模块化的特点，易于组装和维护。对于刚入门的学者，或者对硬件并不在行的人，也仅需要几个小时的时间，就能构建完成。

相比以前的机器人平台，售价高达40万美元（约合人民币286万元）。而谷歌这个价格和操作，真要感叹一声：666！这让想要在现实世界的机器人身上探索强化学习（RL）的人感受到了世界的美好。