[发明专利]基于深度强化学习的机器人导航方法及系统、设备、介质

说明书

本发明能够提供基于深度强化学习的机器人导航方法及系统、设备、介质。该方法包括：获取实时观测数据，以构建环境地图和确定机器人的当前位置和目标点相对位置。生成导航动作信息，依据导航动作信息控制机器人从当前位置向目标点相对位置移动。经过第一设定时长后判断机器人是否到达目标点相对位置。根据未到达目标点生成新导航路径，并控制机器人沿着新导航路径移动，以及再经过第二设定时长后返回获取实时观测数据步骤；或根据到达目标点结束导航。本发明能够在没有初始地图的环境下控制机器人在导航过程中灵活地避开静态和动态障碍物，计算量较小。本发明创新地结合了全局信息和局部信息，有效避免了常规机器人在局部区域徘徊的问题。

技术领域

本发明涉及机器人导航技术领域，更为具体来说，本发明提供了基于深度强化学习的机器人导航方法及系统、设备、介质。

背景技术

随着人工智能技术的不断发展，智能机器人领域也在蓬勃发展。智能机器人具有感知、决策等多种功能，因而在辅助或替代人类工作方面具有巨大的潜力。其中，机器人自主移动能力作为衡量机器人智能程度的重要指标，可见导航任务是大多数具有移动功能的智能机器人在实际应用中需解决的首要问题。但是已有的方案(例如图搜索法、快速搜索随机树算法、人工势场法等)在实现智能机器人导航任务时，往往存在需环境先验信息、无法在完全未知的环境中导航或计算复杂度过大等一个或多个问题。

发明内容

为解决现有技术存在的至少一个问题，本发明能够提供一种基于深度强化学习的机器人导航方法及系统、设备、介质，从而可达到提高机器人智能化水平、降低计算复杂度等一个或多个技术目的。

为实现上述的技术目的，本发明一个或者多个实施例具体提供了一种基于深度强化学习的机器人导航方法。该机器人导航方法可包括但不限于如下至少一个步骤：获取实时观测数据，基于所述实时观测数据构建环境地图以及确定机器人的当前位置和目标点相对位置。生成导航动作信息，并依据所述导航动作信息控制所述机器人从当前位置向所述目标点相对位置移动。经过第一设定时长后判断所述机器人是否到达所述目标点相对位置。根据未到达所述目标点相对位置生成新导航路径，并控制所述机器人沿着所述新导航路径移动，以及再经过第二设定时长后返回所述获取实时观测数据步骤；或者根据到达所述目标点相对位置结束导航。

进一步地，所述根据未到达所述目标点相对位置生成新导航路径包括：

判断在环境地图上是否成功检索到从当前位置到目标点相对位置的可行驶路径，根据检索成功将可行驶路径上的点作为新导航路径的终点，或者根据检索失败将环境地图中未经过区域的点作为新导航路径的终点。

进一步地，所述控制所述机器人从当前位置向所述目标点相对位置移动包括：

利用环境特征数据变化和所述机器人与所述目标点相对位置的距离变化计算好奇心探索因子，基于所述好奇心探索因子控制机器人的活动范围；好奇心探索因子用于表征所述机器人趋向于未经过区域的期望程度。

进一步地，该机器人导航方法还可包括：

对所述实时观测数据进行特征提取处理，以得到环境特征数据。

依据构建的环境地图、机器人的当前位置及所述目标点相对位置确定所述机器人与所述目标点相对位置的距离。

进一步地，该机器人导航方法还包括：

在所述机器人移动过程中计算所述机器人与障碍物之间的当前距离，以及根据所述当前距离小于安全距离控制所述机器人驶向安全区域，所述安全区域范围内任一点与所有障碍物之间的距离均大于所述安全距离。

进一步地，该机器人导航方法还包括：

读取设定的最大移动速度和最大转向速度。

控制所述机器人在移动过程中行驶的速度小于或等于所述最大移动速度，以及转向的速度小于或等于所述最大转向速度。