[发明专利]一种路径规划方法及相关设备

说明书

本申请实施例公开了一种路径规划方法，其特征在于，应用于机器人设备，本方案基于Q‑Learning算法所获得的Q值表，机器人设备在探测环境中未出现新障碍物时使用Q值表进行路径规划并进行移动，当探测到出现新障碍物时，在避障规则和随机规则中基于一定概率选择一种作为目标移动规则，使用目标移动规则对机器人进行路径规划并进行移动，直到机器人绕过新障碍物，恢复使用Q值表进行路径规划的方式，直至达到终点，通过本方案使得使用Q‑Learning算法进行导航的机器人可以应对存在新障碍物的环境，提高了Q‑Learning算法进行导航的适用性，提高了路径规划过程的效率。

技术领域

本申请实施例涉及导航领域，尤其涉及一种路径规划方法及相关设备。

背景技术

机器人有着广泛的应用，例如家庭、农业、工业、军事等各个领域都具有移动机器人的身影。而在控制机器人移动的研究领域中的三大核心是机器人的定位、任务的分配和路径规划技术。其中，路径规划是机器人到达任务目标、完成任务内容的首要条件。例如：家庭服务型清洁机器人需要对室内环境进行合理的路径规划以完成清洁任务；农业采摘机器人需要路径规划才能在农作物间穿行以完成采摘任务；工业机器人也需要进行路径规划才能在共享工作空间中完成给定的任务。

Q-Learning算法是强化学习中的重要算法，相关技术中，将Q-Learning算法应用于机器人系统的路径规划。Q-Learning算法的学习过程是一个迭代的过程，在机器人基于Q-Learning算法进行导航时，首先要进行预训练，即在真实的应用环境对应的栅格地图上添加一个虚拟机器人，虚拟机器人通过不断地移动，基于当前位置向某一选定方向移动特定距离，并生成在该位置下对该方向移动特定距离所对应的状态动作值函数(Q值)，并将该状态动作值函数添加至Q值表，逐步更新Q值表，直到更新得到最终的Q值表。真实的机器人设备在实际应用场景中进行路径规划时，基于预先训练得到的Q值表进行路径导航。

现有的Q-Learning算法使用应用环境对应的栅格地图训练得到的Q值表，该Q值表仅适用于该应用环境中，当应用环境出现新的障碍物时，基于Q-Learning算法得到的原有Q值表会部分失效，导致机器人无法完成任务。

发明内容

本申请实施例第一方面提供了一种路径规划方法，其特征在于，应用于机器人设备，所述方法包括：

步骤1、获取所述机器人设备的应用环境的栅格地图，及所述栅格地图对应的Q值表，所述Q值表包括所述机器人设备在同一位置向不同方向移动特定距离时所对应的状态动作值函数；

步骤2、在所述栅格地图中确定所述机器人设备的起始点及目标点，所述起始点为所述机器人设备当前所在的位置，所述目标点为所述机器人设备希望到达的位置；

步骤3、确定所述起始点为第一位置；

步骤4、基于所述第一位置对应的状态动作值函数确定第一移动方向；

步骤5、判断所述机器人设备向所述第一移动方向移动所述特定距离后所到达的位置是否存在新障碍物，所述新障碍物为所述栅格地图上不存在的障碍物，若不存在所述新障碍物，则执行步骤6；若存在所述新障碍物，则执行步骤7；

步骤6、控制所述机器人设备从所述第一位置向所述第一移动方向移动所述特定距离后到达第二位置，若所述第二位置不是所述目标点，将所述第二位置确定为新的第一位置，返回执行步骤4；若所述第二位置为所述目标点，执行步骤9；

步骤7、在避障规则和随机规则中基于一定概率选择一种作为目标移动规则，基于所述目标移动规则确定第二移动方向，控制所述机器人设备从所述第一位置向所述第二移动方向移动所述特定距离后到达第三位置；若所述第三位置不是所述目标点，则执行步骤8；若所述第三位置为所述目标点，则执行步骤9；