[发明专利]一种面向水下多智能体的Q学习蚁群路由方法

说明书

本发明提供一种面向水下多智能体的Q学习蚁群路由方法，结合强化学习和蚁群算法适应和学习动态水下环境的特征，包括如下步骤：路由发现阶段，路由维持阶段及路由空洞处理机制。将蚁群算法中的信息素映射为Q学习中的Q值。将链路的延迟、带宽和节点的剩余能量、吞吐量综合考虑作为Q值函数来选择下一跳链路。该路由协议还实现了一种空洞感知机制，通过节点定时广播和定时器记录回传ACK时间，判断节点是否处于路由空洞，通过Q学习的惩罚函数使网络避免使用处于空洞的节点。本发明考虑了节点的能量和深度、链路稳定性，通过Q学习减少了节点的端到端延迟、提高了数据递送率和水下无线传感器网络的寿命。

技术领域

本发明涉及一种水下传感器网络路由协议领域，具体而言，涉及一种基于Q学习和集群算法的水下传感器网络路由协议。

背景技术

尽管海洋探测和开发的战略地位非常重要，但是只有5％的海洋被探索过。一定程度上这是由于海洋水声信道与水上的无线信道有很大不同。因此不能直接将陆地上的无线路由算法直接运用在水下传感器网络(UWSNs)中，它必须要加以修改才能运用在水下情况。

由于水下传感器网络(UWSNs)相比陆地无线传感器网络，面临如下挑战：

(1)声音作为信号传播介质导致的高延迟。由于水下的电磁波信号衰减十分严重，只能用于短距离传输。由于声音在水下环境衰减较小，因此水下通信主要采用声信号作为传播媒介。但是水下声信号传播速度大约为1500m/s，而无线电波的传播速度是水下声传播速度的20万倍，采用传统的确认重传机制会大大增加路由过程的时延。

(2)AUV(自主式水下潜器)的移动和水流作用于水声传感器节点导致节点动态移动。水流作用会导致理想状态是固定不动的水声节点发生每秒2～3m的移动，而水下AUV移动速度可达到10节。因此设计水下路由算法往往采用分布式设计策略，根据网络拓扑结构选择合适的下一跳节点。

(3)传感器和AUV的能量受限。水声传感器和AUV都是使用电池供电，而且在水下更换电池成本高昂。为了提高UWSNs的能量效率，必须充分考虑这个因素。

常见的水下传感器路由协议可分为无状态路由协议和有状态路由协议。有状态路由协议需要提前知道整个网络的拓扑结构，这对于水下高延迟的状态会大大增加通信开销。无状态路由协议有VBF、DFR、DBR等等，虽然适合于水下动态拓扑结构，但是容易陷入局部最优解的问题。水下传感器网络路由协议还可以根据是否需要调节功率、声波批量、数据包冲突等划分为跨层和非跨层协议。非跨层协议只需要考虑网络层问题，跨层协议会根据网络拓扑和链路状态变化，动态的去优化路由性能。比较典型的跨层路由协议包括FBR、EEDBR、QELAR、ACO等。为了解决UWSNs的动态网络拓扑问题和能量受限问题，需要采用跨层路由协议。

意大利学者Dor igo于1991年提出了蚁群算法，人工蚂蚁通过改变环境变量，进行间接交流信息达到搜索最优解的目的。自然界中蚂蚁根据沿途释放信息素来寻找最短路径。受此启发，许多学者已经把这种原理应用在离散优化问题中，特别是引用到AdHoc网络中来提高网络性能。基于蚁群算法的路由协议通常可以分为主动式路由协议，按需式路由协议，及混合式路由协议。主动式路由协议特点是所有节点都是活动的，每个节点在实际通信请求之前找到网络中任何其他节点的路由。它的优点是减少了路由发现时延，缺点是网络开销很大，例如AntNet。按需式路由协议特点是所有节点都处于休眠模式。当节点需要与其他节点通信时，它们就会变得活跃。优点是网络开销小，于此同时带来了相对长的路由建立时间，比如ADSR、ARA。而混合路由则结合了二者的优点，比如AntAODV。