[发明专利]一种机器人自主学习方法、装置、设备及存储介质

权利要求书

1.一种机器人自主学习方法，其特征在于，包括：

基于预先构建的虚拟环境，获取由所述虚拟环境自动生成的环境参数；

根据所述环境参数，通过深度学习模型生成训练数据；

根据所述训练数据，采用分层强化学习框架生成至少一个机器人技能；

根据待执行任务确定机器人的状态空间，基于所述状态空间，采用变分推理方法预测所述待执行任务的潜在技能向量，其中，所述潜在技能向量与所述至少一个机器人技能中的其中一个机器人技能具有一一对应的关系；

根据所述机器人技能和所述潜在技能向量，采用强化学习算法获得用于完成所述待执行任务的机器人控制策略。

2.如权利要求1所述的机器人自主学习方法，其特征在于，所述方法还包括：

基于预先确定的用于表示虚拟环境的源域和用于表示现实环境的目标域，采用预设的神经网络模型学习从所述源域到所述目标域的映射情况，根据所述映射情况，获得所述源域和所述目标域之间的误差；

根据所述映射情况，采用所述神经网络模型更新所述源域的状态空间，以缩小所述源域和所述目标域之间的误差。

3.如权利要求2所述的机器人自主学习方法，其特征在于，所述方法还包括：

响应于用户输入的增量学习指令，根据所述增量学习指令中的增量学习信息对所述机器人控制策略进行更新。

4.如权利要求3所述的机器人自主学习方法，其特征在于，所述深度学习模型为生成式对抗网络模型；

则，所述根据所述环境参数，通过深度学习模型生成训练数据，具体包括：

根据所述环境参数，通过所述生成式对抗网络模型中的生成器获取所述环境参数的分布特性；

根据所述分布特性，通过所述生成器随机生成所述训练数据。

5.如权利要求4所述的机器人自主学习方法，其特征在于，所述分层强化学习框架包括上层决策模型和下层决策模型；

则，所述根据所述训练数据，采用分层强化学习框架生成至少一个机器人技能，具体包括：

根据所述训练数据，基于所述上层决策模型，通过MPC算法对每个时刻的任务序列进行规划；

基于所述下层决策模型，通过DQN算法对所述每个时刻的任务序列进行运动规划，生成所述至少一个机器人技能。

6.如权利要求5所述的机器人自主学习方法，其特征在于，所述方法具体通过如下步骤预先获取所述神经网络模型：

步骤S61，基于LSTM神经网络，获取所述目标域的初始状态；

步骤S62，将所述源域的状态设置为与所述目标域的初始状态相同；

步骤S63，按照预设的每个状态所对应的行为策略，分别在所述源域和所述目标域上，在所述源域的当前状态和所述目标域的当前状态执行动作采样，获得状态转换信息，其中，所述状态转换信息包括所述源域的下一个状态和所述目标域的下一个状态；

步骤S64，将所述源域的下一个状态设置为与所述目标域的下一个状态相同；

重复步骤S63至步骤S64，直至所述源域的所有状态均设置完毕，并将所有状态均设置完毕的LSTM神经网络作为所述神经网络模型。

7.如权利要求6所述的机器人自主学习方法，其特征在于，所述响应于用户输入的增量学习指令，根据所述增量学习指令中的增量学习信息对所述机器人控制策略进行更新，具体包括：

响应于所述增量学习指令，获取增量学习信息，其中，所述增量学习信息包括根据用户指示所形成的修正运动轨迹的初始位置信息、原始运动轨迹与所述修正运动轨迹相交的交点位置信息、所述修正运动轨迹的实时位置信息；

根据所述增量学习信息，通过如下公式对所述原始运动轨迹进行更新：

其中，表示原始运动轨迹与所述修正运动轨迹相交的交点位置信息，表示所述修正运动轨迹在t时刻的位置信息，表示所述修正运动轨迹的初始位置信息，表示修正后的新运动轨迹的末端在t时刻的位置信息；

响应于用户输入的停止学习指令，根据所述新运动轨迹的末端在当前时刻的位置信息，对所述机器人控制策略进行更新。