[发明专利]一种Q学习的无人机集群智能地理路由方法

摘要

本发明提供了一种Q学习的无人机集群智能地理路由方法，利用Q学习算法不断与周围环境交换信息能获得最优解的优势，把自主学习任务分配给每个网络节点，且同时考虑到链路质量状态和传输距离对分组传输性能的影响，利用有效分组转发速率来计算Q学习算法中的奖赏函数，各个节点通过周期地与邻居节点交换信息动态调整来寻找到最优路由路径达，有效解决了UAV集群网络中由于拓扑变化带来的路径不可靠的问题。

主权项

1.一种Q学习的无人机集群智能地理路由方法，其特征在于，包括以下步骤：步骤(1)：UAV集群网络内每个节点设置初始时间t0＝0，Q值函数Q(si,ai)＝0，其中si为每个节点i下一跳所选择的邻居节点，ai为根据该状态执行路由选择的动作，它们构成状态—动作集{si,ai}；步骤(2)：更新时间t＝t0+1；步骤(3)：UAV节点利用GPS估计出当前位置，并对Hello消息中的节点位置信息进行更新；步骤(4)：UAV节点通过信标机制将自身标识ID和地理位置信息以广播的形式发送，使得网内各成员可获取下一跳邻居节点及目的节点的地址信息；步骤(5)：UAV网内各节点估计出与邻居节点之间传输链路的误分组率PER，作为评价链路质量的指标；步骤(6)：利用误分组率等计算UAV相邻节点之间分组传输时间T；步骤(7)：利用分组传输时间计算UAV相邻节点之间有效分组转发速率Reff；步骤(8)：利用有效分组转发速率计算Q学习算法中的奖赏函数r(st,at)；步骤(9)：UAV网络节点根据t时刻执行动作at获得的奖赏函数值r、学习速率αt(αt＜1)、折扣因子γ(γ＜1)来更新Q表中Q值；步骤(10)：重复步骤(2)至步骤(9)，直到Q表中Q值接近于收敛状态，即达到稳定状态；步骤(11)：从发送节点到目的节点的路径中，找出具有最大Q值的节点所组成的路径即为最佳路径，从而完成路由建立过程；步骤(12)：UAV节点间通过周期性的交换Hello消息数据来更新Q表的值、节点位置信息、链路质量等，完成路由维护过程。