[发明专利]一种基于改进Q学习算法的无人机群路径规划方法

说明书

本发明公开了一种基于改进Q学习算法的无人机群路径规划方法，属于无人机技术领域。首先将四旋翼无人机分别与微型电脑，360度水平激光测距仪，360度顶部激光传感器，360度底部激光传感器，光流传感器以及风速测量仪组装配置，调试飞行。四旋翼无人机对未知环境进行勘测，勘测过程中若与环境冲突，则以当前前进方向，计算偏转最小的角度，并按该角度进行偏转飞行实现冲突解脱。然后无人机对勘测后的环境进行分割处理，采用栅格法建立环境模型。给无人机群中的每个无人机设定并分配各自的任务，确立各自的级别以及起始点和目标点，利用微型电脑各自进行强化学习，择优选择飞行路径。本发明大量减少人力成本，保障巡检人员安全，具有高效性。

技术领域

本发明属于无人机技术领域，涉及复杂环境下无人机群的路径规划算法。具体是一种基于改进Q学习算法的无人机群路径规划方法。

背景技术

随着无人机技术的不断发展，近年来，无人机的应用领域不断拓宽，目前已经在商用、军用和民用中都发挥着重要的作用，体现在影视拍摄，监控巡查，灾后救援，快递运输以及新闻报道等等。同时，无人机群协同完成任务也成为重要的发展趋势，无人机群之间能够互相配合，实现功能互补，分担不同的任务，从而可以协作控制更大的范围，执行复杂的任务，缩短任务的执行时间，提高工作效率。

在一些复杂环境下如无光、无GPS信号等，人为地进行某些工作不光需要消耗大量的人力成本，而且一些危险的环境可能会威胁工作人员的生命安全，所以通常使用无人机群来完成这些工作，给每个无人机分配相应的任务后，由于环境未知，所以首先要解决的就是无人机群的路径规划问题，使得每个无人机能够安全高效地到达目标点，进而执行相应的任务。

现有技术中，路径规划问题可以用强化学习算法加以解决，强化学习中一个基础的算法是Q学习算法，它是类似于动态规划算法的一种最具代表性的算法，提供智能系统在环境中的学习能力，通过不断迭代后，智能系统可以根据所处状态选择最优的动作行为。该算法目前已经在人工智能以及机器学习领域受到了普遍的关注。

发明内容

本发明为了实现：无人机群在复杂环境下自主飞行，能够择优选择路径直至到达目标点。同时无人机在勘测未知环境的飞行过程中如果与障碍物发生冲突能自主进行解脱，保障无人机群的飞行安全，提出了一种基于改进Q学习算法的无人机群路径规划方法。

所述的无人机群路径规划方法，包括如下步骤：

步骤一、将四旋翼无人机分别与微型电脑，360度水平激光测距仪，360度顶部激光传感器，360度底部激光传感器，光流传感器以及风速测量仪组装配置，调试飞行。

四旋翼无人机包括无人机机身主体，具有动力装置。微型电脑用于计算调整无人机的飞行策略，控制无人机飞行。360度水平激光测距仪用于检测无人机与水平障碍物的距离。360度顶部激光传感器用于检测无人机与机头斜前上方障碍物的距离。360度底部激光传感器用于检测无人机与机头斜前下方障碍物的距离。光流传感器用于保持无人机机身稳定。风速测量仪用于检测环境风速。

步骤二、四旋翼无人机对未知环境进行勘测，勘测过程中检测是否与环境冲突，如果是，进入步骤三，否则，转到步骤四。

勘测飞行过程中，四旋翼无人机采用360度水平激光测距仪，360度顶部激光传感器，360度底部激光传感器，对以自身为中心，半径为R_d的范围内的环境进行探测，当检测到障碍物距离该无人机机身的距离d小于安全半径R_c时，则该无人机处于冲突状态。

步骤三、无人机以当前前进方向，计算偏转最小的角度，并按该角度进行偏转飞行实现冲突解脱。