[发明专利]一种基于改进Q学习算法的无人机群路径规划方法

权利要求书

1.一种基于改进Q学习算法的无人机群路径规划方法，其特征在于，包括如下步骤：

步骤一、将四旋翼无人机分别与微型电脑，360度水平激光测距仪，360度顶部激光传感器，360度底部激光传感器，光流传感器以及风速测量仪组装配置，调试飞行；

所述的四旋翼无人机包括无人机机身主体，具有动力装置；微型电脑用于计算调整无人机的飞行策略，控制无人机飞行；360度水平激光测距仪用于检测无人机与水平障碍物的距离；360度顶部激光传感器用于检测无人机与机头斜前上方障碍物的距离；360度底部激光传感器用于检测无人机与机头斜前下方障碍物的距离；光流传感器用于保持无人机机身稳定；风速测量仪用于检测环境风速；

步骤二、四旋翼无人机对未知环境进行勘测，勘测过程中检测是否与环境冲突，如果是，进入步骤三，否则，转到步骤四；

步骤三、无人机以当前前进方向，计算偏转最小的角度，并按该角度进行偏转飞行实现冲突解脱；

步骤四、无人机对勘测后的环境进行分割处理，采用栅格法建立环境模型；

将环境分成10×10×10的栅格，判断在每一个栅格中是否发现障碍物，如果是，定义该栅格为有障碍的栅格，无人机不能通过；否则，该栅格定义为无障碍物的栅格，无人机可以通过；

步骤五、给无人机群中的每个无人机设定并分配各自的任务，确立各自的级别以及起始点和目标点；

步骤六、每个无人机输入起始点和目标点坐标后，利用微型电脑各自进行强化学习；

强化学习采用改进后的Q学习算法进行，规则如下：

步骤601、设定学习周期个数为E，并初始化两个状态动作矩阵Q₁(s,a)和Q₂(s,a)；

初始Q₁(s,a)＝Q₂(s,a)＝0；s表示状态，a表示动作；

步骤602、对每一个周期，随机初始化状态s，以ε-greedy策略从状态动作矩阵中选择获得最大收益的下一步动作a；

ε-greedy策略是以概率ε随机选择状态s的可选动作a'，以概率1-ε选择当前矩阵可获得最大收益的动作a；

步骤603、从状态s选择动作a后到达状态s'后，对矩阵Q₁和Q₂同时进行更新；每个状态经过动作后到达下一个栅格；

以0.5的概率更新矩阵Q₁，公式如下：

Q₁(s,a)←Q₁(s,a)+α·(R(s,a)+γ·Q₂(s',argmax_aQ₁(s',a))-Q₁(s,a))

以另外0.5的概率更新矩阵Q₂，公式如下：

Q₂(s,a)←Q₂(s,a)+α·(R(s,a)+γ·Q₁(s',argmax_aQ₂(s',a))-Q₂(s,a))

其中R(s,a)为状态-动作对＜s,a＞的奖励值，结果为1，-1或0；α∈(0.5,1]为深度学习因子，γ∈(0,1)称为折算因子，argmax_a为求使得Q₁(s',a)或者Q₂(s',a)值最大对应的a值；

步骤604、当到达目标点栅格或者有障碍的栅格时，当前周期结束，开始下一周期；否则将状态s'赋给状态s，再转到步骤602；直至完成所有周期，结束学习过程；

步骤七、每个无人机根据各自的强化学习结果，择优选择飞行路径；

无人机群中的每个无人机从各自的起始点栅格开始飞行，基于强化学习结果，每一个时间步选择收益最大的动作飞往下一个距离最近的栅格中心，在飞行过程中判断是否与其它无人机发生冲突，如果是，则依据初始时确定的优先级，优先级低的无人机悬停，优先级高的无人机沿当前速度大小和方向继续飞行；否则，直接飞行直至到达目标点栅格为止，完成任务。