[发明专利]一种机器人自主学习方法、装置、设备及存储介质

说明书

本发明公开一种机器人自主学习方法、装置、设备及存储介质，该方法包括：基于预先构建的虚拟环境，获取由虚拟环境自动生成的环境参数；根据环境参数，通过深度学习模型生成训练数据；根据训练数据，采用分层强化学习框架生成至少一个机器人技能；根据待执行任务确定机器人的状态空间，基于状态空间，采用变分推理方法预测待执行任务的潜在技能向量，潜在技能向量与至少一个机器人技能中的其中一个机器人技能具有一一对应的关系；根据机器人技能和潜在技能向量，采用强化学习算法获得用于完成待执行任务的机器人控制策略。本发明在面对不同类型的任务时，无需重复针对不同类型的任务对机器人进行技能训练，提高了机器人进行自主学习的泛化性。

技术领域

本发明涉及智能机器人技术领域，尤其是涉及一种机器人自主学习方法、装置、设备及存储介质。

背景技术

传统的工业机器人对人类依赖度高，在学习过程中需要过多的人为干预，缺乏自主学习的能力，难以从事复杂的工作。而能够自主学习的智能机器人拥有与人类相似的感知能力、动作能力、理解能力和协同能力，能够自主地从感知的数据信息中学习技能，快速适应环境变化，从而能够从事复杂的工作。

现有的机器人自主学习方法通常需要依赖大量的训练数据，使机器人针对单一类型的工作任务进行技能模型的训练，当面对不同类型的工作任务时，技能模型往往无法有效地完成工作任务，需要针对当前类型的工作任务重新进行技能模型的训练，导致机器人进行自主学习的泛化性较差。

发明内容

本发明提供一种机器人自主学习方法、装置、设备及存储介质，能够在虚拟环境中随机生成训练数据，实现训练数据的多样性，能够根据该训练数据针对不同类型的任务对机器人进行技能训练，生成机器人技能，当面对不同类型的任务时，采用变分推理方法预测任务的潜在技能向量，然后根据训练生成的机器人技能，获得用于完成任务的机器人控制策略，无需重新针对当前类型的工作任务进行技能训练，提高了机器人进行自主学习的泛化性。

为了解决上述技术问题，本发明实施例第一方面提供一种机器人自主学习方法，包括：

基于预先构建的虚拟环境，获取由所述虚拟环境自动生成的环境参数；

根据所述环境参数，通过深度学习模型生成训练数据；

根据所述训练数据，采用分层强化学习框架生成至少一个机器人技能；

根据待执行任务确定机器人的状态空间，基于所述状态空间，采用变分推理方法预测所述待执行任务的潜在技能向量，其中，所述潜在技能向量与所述至少一个机器人技能中的其中一个机器人技能具有一一对应的关系；

根据所述机器人技能和所述潜在技能向量，采用强化学习算法获得用于完成所述待执行任务的机器人控制策略。

作为优选方案，所述方法还包括：

基于预先确定的用于表示虚拟环境的源域和用于表示现实环境的目标域，采用预设的神经网络模型学习从所述源域到所述目标域的映射情况，根据所述映射情况，获得所述源域和所述目标域之间的误差；

根据所述映射情况，采用所述神经网络模型更新所述源域的状态空间，以缩小所述源域和所述目标域之间的误差。

作为优选方案，所述方法还包括：

响应于用户输入的增量学习指令，根据所述增量学习指令中的增量学习信息对所述机器人控制策略进行更新。

作为优选方案，所述深度学习模型为生成式对抗网络模型；

则，所述根据所述环境参数，通过深度学习模型生成训练数据，具体包括：

根据所述环境参数，通过所述生成式对抗网络模型中的生成器获取所述环境参数的分布特性；

根据所述分布特性，通过所述生成器随机生成所述训练数据。