[发明专利]一种基于改进Q学习算法的无人机群路径规划方法

摘要

本发明公开了一种基于改进Q学习算法的无人机群路径规划方法，属于无人机技术领域。首先将四旋翼无人机分别与微型电脑，360度水平激光测距仪，360度顶部激光传感器，360度底部激光传感器，光流传感器以及风速测量仪组装配置，调试飞行。四旋翼无人机对未知环境进行勘测，勘测过程中若与环境冲突，则以当前前进方向，计算偏转最小的角度，并按该角度进行偏转飞行实现冲突解脱。然后无人机对勘测后的环境进行分割处理，采用栅格法建立环境模型。给无人机群中的每个无人机设定并分配各自的任务，确立各自的级别以及起始点和目标点，利用微型电脑各自进行强化学习，择优选择飞行路径。本发明大量减少人力成本，保障巡检人员安全，具有高效性。

主权项

1.一种基于改进Q学习算法的无人机群路径规划方法，其特征在于，包括如下步骤：步骤一、将四旋翼无人机分别与微型电脑，360度水平激光测距仪，360度顶部激光传感器，360度底部激光传感器，光流传感器以及风速测量仪组装配置，调试飞行；步骤二、四旋翼无人机对未知环境进行勘测，勘测过程中检测是否与环境冲突，如果是，进入步骤三，否则，转到步骤四；步骤三、无人机以当前前进方向，计算偏转最小的角度，并按该角度进行偏转飞行实现冲突解脱；步骤四、无人机对勘测后的环境进行分割处理，采用栅格法建立环境模型；步骤五、给无人机群中的每个无人机设定并分配各自的任务，确立各自的级别以及起始点和目标点；步骤六、每个无人机输入起始点和目标点坐标后，利用微型电脑各自进行强化学习；强化学习采用改进后的Q学习算法进行，规则如下：步骤601、设定学习周期个数为E，并初始化两个状态动作矩阵Q1(s,a)和Q2(s,a)；初始Q1(s,a)＝Q2(s,a)＝0；s表示状态，a表示动作；步骤602、对每一个周期，随机初始化状态s，以ε‑greedy策略从状态动作矩阵中选择获得最大收益的下一步动作a；ε‑greedy策略是以概率ε随机选择状态s的可选动作a'，以概率1‑ε选择当前矩阵可获得最大收益的动作a；步骤603、从状态s选择动作a后到达状态s'后，对矩阵Q1和Q2同时进行更新；每个状态经过动作后到达下一个栅格；以0.5的概率更新矩阵Q1，公式如下：Q1(s,a)←Q1(s,a)+α·(R(s,a)+γ·Q2(s',argmaxaQ1(s',a))‑Q1(s,a))以另外0.5的概率更新矩阵Q2，公式如下：Q2(s,a)←Q2(s,a)+α·(R(s,a)+γ·Q1(s',argmaxaQ2(s',a))‑Q2(s,a))其中R(s,a)为状态‑动作对＜s,a＞的奖励值，结果为1，‑1或0；α∈(0.5,1]为深度学习因子，γ∈(0,1)称为折算因子，argmaxa为求使得Q1(s',a)或者Q2(s',a)值最大对应的a值；步骤604、当到达目标点栅格或者有障碍的栅格时，当前周期结束，开始下一周期；否则将状态s'赋给状态s，再转到步骤602；直至完成所有周期，结束学习过程；步骤七、每个无人机根据各自的强化学习结果，择优选择飞行路径。