[发明专利]一种基于强化学习的移动机器人路径规划方法

说明书

本发明涉及一种基于强化学习的移动机器人路径规划方法，该方法采用预训练后的改进A*算法，在任意环境中进行路径规划，所述改进A*算法的预训练过程包括以下步骤：S1：获取路径的起点、目标点和路径所在的已知环境，初始化改进A*算法；S2：采用改进A*算法进行路径规划，计算并保存路径规划过程中的搜索点和奖励值；S3：基于每个搜索点及其与目标点间所有搜索点的奖励值，计算每个搜索点对应的长期回报，获取训练数据；S4：基于训练数据，更新强化学习算法，获取每个搜索点的修正值，更新改进A*算法中的引导函数；S5：重复步骤S2至S4，直到满足预设的停止条件。与现有技术相比，本发明具有路径规划速度快、规划结果更优，且稳定性高的优点。

技术领域

本发明涉及移动机器人路径规划领域，尤其是涉及一种基于强化学习的移动机器人路径规划方法。

背景技术

在移动机器人领域，路径规划一直是一大研究热点。机器人需要在已知环境的情况下，利用路径规划算法，在两点之间寻找一条可以到达的且最优的路径。其中Dijkstra算法是经典的寻路算法之一，该算法中，每个搜索节点被赋予一个属性g(n)，用以表示该节点距离起点的距离，通过不断的搜寻具有最小g(n)值的节点并更新其周围节点g(n)值的方式，Dijkstra算法能够找到两点之间的最短路径。该方法虽被广泛应用，但是该方法以搜索空间为代价，搜索耗费时间，不适合地图较大的场景，存在一定的局限性。如图2所示为Dijkstra算法寻找得到的路径，该搜寻路径是最优的，然而搜索耗费了较大的时间，不能满足机器人应用的实时性。针对Dijkstra算法耗时的缺点，A*算法通过引入引导函数的方式极大的减少了搜索空间，能够更快速的搜索到机器人的可行路径。如公式(1)所示，A*在g(n)的基础上，添加了当前节点到目标节点的引导函数h(n)，以二者的和f(n)作为各个节点的属性进行搜索和更新，使得搜索在考虑与起始节点距离的同时兼顾了向目标节点方向的引导。

f(n)＝g(n)+h(n) (1)

A*算法虽然通过引入引导函数的方式缩短了搜索时间，但由于其引导函数往往是人为设定的距离，例如曼哈顿距离，欧式距离等，因此对于两点之间存在障碍物的情况，A*算法往往会产生错误的引导，使得所得到的路径非最优，如图3所示为采用欧式距离的A*算法所得到的路径，对比图2中Dijkstra算法的路径可以发现其有一个向目标节点方向的凹陷，因而产生了不必要的路径。

A*算法与Dijkstra算法作为目前最为常见的规划算法，有其各自的优势，但同时也有其局限。Dijkstra算法可获得最优路径，却不适用于大型场景；A*算法在Dijkstra算法的基础上提升了搜索速度，却以路径为代价，使得所得并非最优解。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种兼顾A*算法搜索速度与Dijkstra算法最优路径的基于强化学习的移动机器人路径规划方法。

本发明的目的可以通过以下技术方案来实现：

一种基于强化学习的移动机器人路径规划方法，该方法采用预训练后的改进A*算法，在任意环境中进行路径规划，所述改进A*算法采用预建立的强化学习算法更新引导函数，所述改进A*算法的预训练过程包括以下步骤：

S1：获取路径的起点、目标点和路径所在的已知环境，初始化改进A*算法；

S2：基于路径的起点、目标点和路径所在的已知环境，采用当前的改进A*算法进行路径规划，计算并保存路径规划过程中每一次的搜索点和该搜索点的奖励值；

S3：基于每个搜索点及其与目标点间所有搜索点的奖励值，计算每个搜索点对应的长期回报，获取训练数据；

S4：基于训练数据，更新强化学习算法，并通过更新后的强化学习算法，获取每个搜索点对应的修正值，更新改进A*算法中的引导函数；