[发明专利]面向机器人技能学习的快速模仿学习方法、系统、设备

说明书

本发明属于机器人和人工智能技术领域，具体涉及一种面向机器人技能学习的快速模仿学习方法、系统、设备，旨在解决现有机器人的示教数据采集耗时、复杂以及当示教者提供了次优示教时，机器人无法优化执行过程，导致机器人操作效率降低、作业时间变长的问题。本系统方法包括获取原始示教数据；结合预训练的评测器，通过预设的关键帧提取方法从原始示教数据集中提取关键帧示教数据；基于关键帧示教数据，通过训练好的控制策略模型控制机器人复现示教。本发明能够简化机器人模仿学习时的数据采集流程，并基于机器人控制策略模型的性能优化示教轨迹，缩短数据采集时间与机器人操作时间，有效地提高机器人模仿学习的效率、缩短作业时间。

技术领域

本发明属于机器人和人工智能技术领域，具体涉及一种面向机器人技能学习的快速模仿学习方法、系统、设备。

背景技术

模仿学习是一类机器人通过模仿专家行为以获取技能的方法。模仿学习方法可以分为两个阶段，分别是示教数据采集和策略生成。在示教数据采集时，演示者需要执行一次或多次任务，并提供演示期间的状态和动作信息。在策略生成时，机器人使用策略生成方法从示教数据中学习用于模仿演示者行为的控制策略。

现有模仿学习方法与人类的模仿过程相比仍存在一定差异。主要体现在：第一，人类模仿者在无法获得示教者动作信息的情况下，可以仅从任务的状态序列中学习技能；第二，人类模仿者在模仿专家行为时会利用自身的知识优化任务执行步骤。这些差异使得现有模仿学习方法传授机器人技能时，必须使用外部传感器或动作识别模块以获取专家动作，这导致示教数据采集过程变得耗时且复杂；而且，当示教者提供了次优示教时，机器人无法优化执行过程，这导致机器人操作效率降低、作业时间变长。基于此，本发明提出了一种面向机器人技能学习的快速模仿学习方法。

发明内容

为了解决现有技术中的上述问题，即为了解决现有机器人的示教数据采集耗时、复杂以及当示教者提供了次优示教时，机器人无法优化执行过程，导致机器人操作效率降低、作业时间变长的问题，本发明第一方面，提出了一种面向机器人技能学习的快速模仿学习方法，该方法包括：

S10，当机器人需要学习新的技能时，先获取原始示教数据；所述原始示教数据为示教者执行示教动作前后操作环境的状态；

S20，结合预训练的评测器，通过预设的关键帧提取方法从原始示教数据集中提取关键帧示教数据；

S30，基于所述关键帧示教数据，通过训练好的控制策略模型控制机器人复现示教，从而完成机器人技能学习的泛化；

其中，所述控制策略模型、所述评测器，其训练方法为：

A10，采集探索数据，构建探索数据集；所述探索数据包括机器人在执行设定探索策略生成的动作以及执行动作前后操作环境的状态；

A20，将操作环境的状态作为监督学习的输入、将生成的动作作为监督学习的标签，通过行为克隆方法对预构建的控制策略模型训练；

A30，采集评测数据，构建评测数据集；所述评测数据包括测试任务、通过训练后的控制策略模型执行测试任务时的成功率和操作步数；所述测试任务由测试设置的操作环境的初始状态和目标状态组成；

A40，将测试任务作为监督学习的输入，将成功率和操作步数作为监督学习的标签，通过监督学习的方法训练预构建的评测器；

所述控制策略模型基于带有卷积结构、递归结构的深度神经网络构建；所述评测器基于带有卷积结构的深度神经网络构建。

在一些优选的实施方式中，步骤S20中“通过预设的关键帧提取方法从原始示教数据集中提取关键帧示教数据”，其方法为：

S21，将原始示教数据中的操作环境的状态作为节点，构建初始图G；

S22，从初始图中选择一组未经过评测器评测的节点对作为转移任务，使用评测器预测控制策略模型执行转移任务时的成功率和操作步数；