[发明专利]一种全覆盖路径规划方法、装置、存储介质、电子设备

权利要求书

1.一种基于深度强化学习的全覆盖路径规划方法，其特征在于，所述方法包括：

将智能体所处的任务区域划分为按n₁×n₂矩阵排列的多个格栅点；

根据在当前时刻，所述多个格栅点中每一个格栅点的环境属性，对所述每一个格栅点分别赋值，获得用于表征所述任务区域的环境状态的第一环境状态矩阵；

根据在所述当前时刻，所述智能体分别与所述每一个格栅点之间的距离，对所述每一个格栅点分别赋值，获得用于表征所述智能体的位置状态的第一位置状态矩阵；

根据在N个在前时刻，所述智能体分别与所述每一个格栅点之间的距离，对所述每一个格栅点分别赋值，获得用于表征所述智能体的艏向信息的N个艏向信息矩阵；

将所述第一环境状态矩阵、所述第一位置状态矩阵和所述N个艏向信息矩阵拼接为N+2个状态输入矩阵；

构建卷积神经网络模型，并将所述N+2个状态输入矩阵输入所述卷积神经网络模型，以使得所述卷积神经网络模型根据所述N+2个状态输入矩阵输出，输出表征所述智能体的下一步执行信息的输出值；

采用深度强化学习算法，对所述卷积神经网络模型进行训练；

采用经过训练的所述卷积神经网络模型，对所述智能体进行路径规划；

其中，N个所述在前时刻为与所述当前时刻相邻，并发生在所述当前时刻之前的时刻，N大于或等于2；n₁为1-1000的整数；n₂为1-1000的整数；

所述第一环境状态矩阵中的元m(i,j)为[-1，0，1]中的任一者，所述元m(i,j)根据以下原则被赋值：

所述环境属性为栅格点是障碍物时，m(i,j)=-1；

所述环境属性为栅格点已被探测到时，m(i,j)=0；

所述环境属性为栅格点未被探测到时，m(i,j)=1；

所述第一位置状态矩阵中的元dis_i,j根据以下原则被赋值：

；

其中，dis_i,j为所述智能体与所述第一位置状态矩阵的第i行第j列的栅格点之间的欧式距离，X_agent为所述智能体在与所述任务区域对应的二维平面直角坐标系中的X坐标，Y_agent为所述智能体在所述二维平面直角坐标系中的Y坐标， X_i,j为所述元dis_i,j在所述二维平面直角坐标系中的X坐标，Y_i,j为所述元dis_i,j在所述二维平面直角坐标系中的Y坐标，dis_max为所述任务区域中的最长距离。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述卷积神经网络模型的输出层，使用tanh激活函数，将所述输出值限定在[-1，1]的范围内，并将经过限定的所述输出值乘以所述智能体的最大转向限制，获得表征所述智能体的转向动作的转向动作输出值。

3.根据权利要求1或2所述的方法，其特征在于，所述采用深度强化学习算法，对所述卷积神经网络模型进行训练，包括：

根据所述智能体在所述任务区域中的探测进程，构建奖惩函数；

基于所述奖惩函数，采用深度强化学习算法，对所述卷积神经网络模型进行训练。