[发明专利]控制设备移动的方法、装置、存储介质及电子设备

权利要求书

1.一种控制设备移动的方法，其特征在于，所述方法包括：

在目标设备移动时，按照预设周期采集所述目标设备周围环境的第一RGB-D图像；

从所述第一RGB-D图像中获取预设帧数的第二RGB-D图像；

获取预先训练的深度强化学习模型DQN训练模型，并根据所述第二RGB-D图像对所述DQN训练模型进行迁移训练，得到目标DQN模型；

获取所述目标设备当前周围环境的目标RGB-D图像；

将所述目标RGB-D图像输入所述目标DQN模型得到所述目标输出参数，并根据所述目标输出参数确定目标控制策略；

控制所述目标设备按照所述目标控制策略移动。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第二RGB-D图像对所述DQN训练模型进行迁移训练，得到目标DQN模型包括：

将所述第二RGB-D图像作为所述DQN训练模型的输入，得到所述DQN训练模型的第一输出参数；

根据所述第一输出参数确定第一控制策略，并控制所述目标设备按照所述第一控制策略移动；

获取所述目标设备与周围障碍物的相对位置信息；

根据所述相对位置信息对所述第一控制策略进行评价得到评分值；

获取DQN校验模型，所述DQN校验模型包括根据所述DQN训练模型的模型参数生成的DQN模型；

根据所述评分值和所述DQN校验模型对所述DQN训练模型进行迁移训练，得到目标DQN模型。

3.根据权利要求2所述的方法，其特征在于，所述DQN训练模型包括卷积层和与所述卷积层连接的全连接层，所述将所述第二RGB-D图像作为所述DQN训练模型的输入，得到所述DQN训练模型的第一输出参数包括：

将预设帧数的所述第二RGB-D图像输入至卷积层提取第一图像特征，并将所述第一图像特征输入至全连接层，得到所述DQN训练模型的第一输出参数。

4.根据权利要求2所述的方法，其特征在于，所述DQN训练模型包括多个卷积神经网络CNN网络和多个循环神经网络RNN网络以及全连接层，不同的CNN网络连接不同的RNN网络，且所述RNN网络的目标RNN网络与所述全连接层连接，所述目标RNN网络包括所述RNN网络中的任一个RNN网络，多个所述RNN网络依次连接，所述将所述第二RGB-D图像作为所述DQN训练模型的输入，得到所述DQN训练模型的第一输出参数包括：

将每一帧所述第二RGB-D图像分别输入不同的CNN网络提取第二图像特征；

循环执行特征提取步骤，直至满足特征提取终止条件，所述特征提取步骤包括：将所述第二图像特征输入至与所述CNN网络连接的当前RNN网络，并根据所述第二图像特征和上一RNN网络输入的第三图像特征，通过所述当前RNN网络得到第四图像特征，并将所述第四图像特征输入至下一RNN网络；将所述下一RNN网络确定为更新的当前RNN网络；

所述特征提取终止条件包括：获取到所述目标RNN网络输出的第五图像特征；

在获取到所述第五图像特征后，将所述第五图像特征输入至全连接层，得到所述DQN训练模型的第一输出参数。

5.根据权利要求2所述的方法，其特征在于，所述根据所述评分值和所述DQN校验模型对所述DQN训练模型进行迁移训练，得到目标DQN模型包括：

获取所述目标设备的当前周围环境的第三RGB-D图像；

将所述第三RGB-D图像输入至所述DQN校验模型得到第二输出参数；

根据所述评分值和所述第二输出参数计算得到期望输出参数；

根据所述第一输出参数和所述期望输出参数得到训练误差；

获取预设误差函数，并根据所述训练误差和所述预设误差函数按照反向传播算法对所述DQN训练模型进行训练，得到所述目标DQN模型。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述将所述目标RGB-D图像输入所述目标DQN模型得到所述目标输出参数包括：

将所述目标RGB-D图像输入所述目标DQN模型得到多个待确定输出参数；

将多个所述待确定输出参数中的最大参数确定为所述目标输出参数。