新框架使四足机器人能够像动物一样敏捷地移动

四足动物天生就具有敏捷和适应性强的动作能力，这使它们能够在各种地形上移动。在过去的几十年里，世界各地的机器人专家一直在尝试在四足机器人中有效地重现这些动作。

研究表明，通过强化学习训练的计算模型在实现四足机器人敏捷运动方面取得了特别有希望的结果。然而，这些模型通常是在模拟环境中训练的，当它们应用于现实环境中的真实机器人时，其性能有时会下降。

实现敏捷四足运动的替代方法是利用运动传感器和摄像机收集的动物运动镜头作为演示，用于训练控制器(即执行机器人运动的算法)。这种方法被称为“模仿学习”，它被发现能够在某些四足机器人中重现类似动物的动作。

中国腾讯机器人X的研究人员最近推出了一种新的分层框架，可以促进四足机器人执行类似动物的敏捷动作。该框架在《自然机器智能》发表的一篇论文中介绍，最初应用于名为MAX的四足机器人，取得了非常有希望的结果。

“人们已经做出了许多努力，希望通过经典控制器或强化学习方法实现四足机器人的敏捷运动，”韩雷、朱庆旭及其同事在论文中写道。“这些方法通常依赖于物理模型或手工制作的奖励来准确描述特定系统，而不是像动物那样依赖于广义的理解。我们提出了一个分层框架来构建原始、环境和战略层面的知识，这些知识对于有腿机器人来说都是可预先训练、可重复使用和可丰富。”

研究人员提出的新框架涵盖了强化学习的三个阶段，每个阶段都侧重于提取不同层次的运动任务和机器人感知的知识。该团队在每个学习阶段的控制器分别称为原始运动控制器(PMC)、环境原始运动控制器(EPMC)和战略环境原始运动控制器(SEPMC)。

研究人员写道：“原始模块总结了动物运动数据中的知识，在语言和图像理解方面，我们受到大型预训练模型的启发，引入了深度生成模型来产生运动控制信号，刺激有腿机器人像真实动物一样行动。”“然后，我们通过重复使用原始模块，在更高层次上塑造各种遍历能力，以与环境保持一致。最后，训练一个战略模块，通过重复使用以前级别的知识，专注于复杂的下游任务。”

研究人员通过一系列实验评估了他们提出的框架，并将它应用于一个名为MAX的四足机器人。具体来说，他们让两个MAX机器人参加类似标签的游戏​​，并使用该框架控制它们的运动。

研究团队写道：“我们将训练有素的分层控制器应用于MAX机器人，这是一种内部开发的四足机器人，可以模仿动物、穿越复杂的障碍物并参加设计好的、具有挑战性的多智能体追逐标签游戏，其中机器人可以展现出逼真的敏捷性和策略。”

在初步测试中，研究人员发现他们的模型使MAX机器人能够成功穿越不同的环境，并做出类似动物的敏捷动作。未来，该模型可以调整并应用于其他四足机器人，从而有可能促进它们在现实环境中的部署。