[发明专利]基于深度强化学习的机器人导航方法及系统、设备、介质

权利要求书

1.一种基于深度强化学习的机器人导航方法，其特征在于，包括：

获取实时观测数据；

基于所述实时观测数据构建环境地图以及确定机器人的当前位置和目标点相对位置；生成导航动作信息，并依据所述导航动作信息控制所述机器人从当前位置向所述目标点相对位置移动，包括：利用环境特征数据变化和所述机器人与所述目标点相对位置的距离变化计算好奇心探索因子，基于所述好奇心探索因子控制机器人的活动范围；好奇心探索因子用于表征所述机器人趋向于未经过区域的期望程度；

经过第一设定时长后判断所述机器人是否到达所述目标点相对位置；

根据未到达所述目标点相对位置生成新导航路径，包括：判断在环境地图上是否成功检索到从当前位置到目标点相对位置的可行驶路径，根据检索成功将可行驶路径上的点作为新导航路径的终点，或者根据检索失败将环境地图中未经过区域的点作为新导航路径的终点，并控制所述机器人沿着所述新导航路径移动，以及再经过第二设定时长后返回所述获取实时观测数据步骤；

或者根据到达所述目标点相对位置结束导航；

在所述机器人移动过程中计算所述机器人与障碍物之间的当前距离，以及根据所述当前距离小于安全距离控制所述机器人驶向安全区域，所述安全区域范围内任一点与所有障碍物之间的距离均大于所述安全距离。

2.根据权利要求1所述的基于深度强化学习的机器人导航方法，其特征在于，还包括：

对所述实时观测数据进行特征提取处理，以得到环境特征数据；

依据构建的环境地图、机器人的当前位置及所述目标点相对位置确定所述机器人与所述目标点相对位置的距离。

3.根据权利要求1所述的基于深度强化学习的机器人导航方法，其特征在于，还包括：

读取设定的最大移动速度和最大转向速度；

控制所述机器人在移动过程中行驶的速度小于或等于所述最大移动速度，以及转向的速度小于或等于所述最大转向速度。

4.一种基于深度强化学习的机器人导航系统，其特征在于，包括：

激光传感器，用于获取实时观测数据；

定位建图模块，用于基于所述实时观测数据构建环境地图以及用于确定机器人的当前位置和目标点相对位置；

导航模块，用于生成导航动作信息，以及用于依据所述导航动作信息控制所述机器人从当前位置向所述目标点相对位置移动；

路径规划模块，用于根据未到达所述目标点相对位置生成新导航路径，包括：判断在环境地图上是否成功检索到从当前位置到目标点相对位置的可行驶路径，根据检索成功将可行驶路径上的点作为新导航路径的终点，或者根据检索失败将环境地图中未经过区域的点作为新导航路径的终点，并用于控制所述机器人沿着所述新导航路径移动；或者根据到达所述目标点相对位置结束导航；在所述机器人移动过程中计算所述机器人与障碍物之间的当前距离，以及根据所述当前距离小于安全距离控制所述机器人驶向安全区域，所述安全区域范围内任一点与所有障碍物之间的距离均大于所述安全距离;

徘徊监测模块，用于利用环境特征数据变化和所述机器人与所述目标点相对位置的距离变化计算好奇心探索因子；所述导航模块用于基于所述好奇心探索因子控制机器人的活动范围；所述好奇心探索因子用于表征所述机器人趋向于未经过区域的期望程度。

5.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至3中任一项权利要求所述基于深度强化学习的机器人导航方法的步骤。

6.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至3中任一项权利要求所述基于深度强化学习的机器人导航方法的步骤。