用于机器人物体操控的开源通用模型

ChatGPT和其他大型语言模型(LLM)的公开发布，让世界各地的开发人员开始尝试使用这些模型来增强自己系统的交互能力。然而，类似的可通用的机器人操控模型仍然很少。

加州大学伯克利分校(UCBerkeley)、斯坦福大学和CMU的研究人员最近推出了Octo，这是一种开源的机器人操控通用模型，可以让不同的机器人系统有效地操控各种物体。该模型在服务器arXiv上预先发布的一篇论文中提出，可以为开发能够处理手动任务的机器人开辟新的途径。

DibyaGhosh、HomerWalke、KarlPertsch、KevinBlack和OierMees告诉TechXplore：“目前人工智能领域的许多进展都是由大型数据集和大型模型推动的。”“在机器人社区，我们最近收集了OpenX-Embodiment数据集，这是一个汇集了来自许多研究机构的数据的大型操作数据集。虽然这个新数据集是一个非常令人兴奋的资源，但当时还没有很多模型可以利用它。”

该研究团队近期的工作主要有两个目标。第一，开发一个可应用于各种机器人的通用机器人模型;第二，创建开源代码，以便其他研究人员将来可以构建类似的模型。

“Octo是我们所说的‘通才’机器人模型，它是一种神经网络，可以控制许多不同类型的机器人，并使它们执行‘拿起勺子’、‘关上抽屉’、‘擦桌子’等要求，”Ghosh、Walke、Pertsch、Black和Mees解释道。

“成为一名通才并研究多种机器人是关键，因为如果你看看世界各地的研究实验室，你会发现他们中的许多都使用不同的机器人，因此确保Octo能够被许多研究人员使用的唯一方法是支持多种机器人。”

在技​​术研发界，可应用于多个系统的高性能计算工具通常被称为基础模型。ChatGPT就是此类模型的一个例子，它可用于为各种代理和系统配备自然语言处理(NLP)功能。

Ghosh、Walke、Pertsch、Black和Mees表示：“我们希望建立类似的基础模型，但用于机器人控制，或者换句话说，可以控制许多机器人并使它们解决许多不同任务的模型。”

“Octo是朝着这一目标迈出的第一步。它的训练看起来与ChatGPT等模型非常相似：我们整理了一个庞大而多样化的数据集，在我们的例子中是机器人数据而不是文本，并训练一个大型模型来预测机器人在当前机器人状态和任务指令下应该执行的下一步动作。”

Octo是由Ghosh、Walke、Pertsch、Black和Mees开发的模型，它基于与ChatGPT相同类型的神经网络，即所谓的transformers。与之前开发的其他机器人模型相比，Octo的一个关键优势是用于训练它的数据规模及其灵活性。

该模型是在迄今为止编制的最大的机器人操作轨迹数据集OpenX-Embodiment数据集上进行训练的。Octo还可以处理各种感官输入，包括不同类型的图像、机器人关节读数、语言指令、与目标相关的图像等。