[发明专利]一种面向水下多智能体的Q学习蚁群路由方法

摘要

本发明提供一种面向水下多智能体的Q学习蚁群路由方法，结合强化学习和蚁群算法适应和学习动态水下环境的特征，包括如下步骤：路由发现阶段，路由维持阶段及路由空洞处理机制。将蚁群算法中的信息素映射为Q学习中的Q值。将链路的延迟、带宽和节点的剩余能量、吞吐量综合考虑作为Q值函数来选择下一跳链路。该路由协议还实现了一种空洞感知机制，通过节点定时广播和定时器记录回传ACK时间，判断节点是否处于路由空洞，通过Q学习的惩罚函数使网络避免使用处于空洞的节点。本发明考虑了节点的能量和深度、链路稳定性，通过Q学习减少了节点的端到端延迟、提高了数据递送率和水下无线传感器网络的寿命。