[发明专利]水声传感网中基于强化学习的自适应定向邻居发现方法

说明书

本发明公开了一种水声传感网中基于强化学习的自适应定向邻居发现方法，包括：S1构建水声传感网的网络模型；S2：设计水下传感器节点的波束扫描序列；S3：构建水下传感器节点的Q学习奖励函数；S4：采用Nash‑Q学习方法对整个邻居发现过程进行建模；S5：设置自适应波束扫描，将Nash‑Q学习输出的波束扫描序列作为新的波束扫描序列，重复执行步骤S2‑S5，直到邻居发现过程执行完毕。本发明采用确定性波束扫描方法设计扫描周期，利用节点上一发现周期在各个波束的邻居发现所获得的先验知识和节点三次握手过程获得的邻居推荐知识，通过Nash‑Q学习方法进行自适应设置，减少下一周期波束扫描序列设计的波束数，从而减少邻居发现的长延迟，加快整体算法的收敛。

技术领域

本发明属于水声传感网定向邻居发现领域，具体一种水声传感网中基于强化学习的自适应定向邻居发现方法。

背景技术

水声传感网中节点的部署没有任何预先分配的全局网络信息，因网络需要首先执行邻居发现过程来感知网络的全局拓扑。但是随着邻居发现过程的进行，节点的每个波束逐渐发现其邻居节点，当某个波束内的邻居节点被完全发现时，节点再去考虑此波束会对整个邻居发现过程产生一定的影响。比如，当此波束内没有邻居节点可供发现时，仍然对其进行波束扫描序列的规划，就会造成时隙的浪费，也会导致整个预期发现周期过长，延长邻居发现的时间。

发明内容

为了解决这个难题，本发明提供了一种水声传感网中基于强化学习的自适应定向邻居发现方法，采用确定性波束扫描方法设计扫描周期，利用节点上一发现周期在各个波束的邻居发现所获得的先验知识和节点三次握手过程获得的邻居推荐知识，通过Nash-Q学习方法进行自适应设置，减少下一周期波束扫描序列设计的波束数，从而减少邻居发现的长延迟，加快整体算法的收敛。

实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种水声传感网中基于强化学习的自适应定向邻居发现方法，包括以下步骤：

S1构建水声传感网的网络模型，所述水声传感网包括若干水下传感器节点与水面基站，所述水下传感器节点随机分布在水下区域内，从周围环境内收集感知到的数据，并通过多跳传输将收集到的数据传输到水面基站；

S2：设计水下传感器节点的波束扫描序列，根据需要扫描的波束序列采用连续环形仲裁系统设计波束扫描序列，从而保证节点间波束的对准；

S3：构建水下传感器节点的Q学习奖励函数，构建水下传感器节点先验知识的奖励函数以及邻居推荐的奖励函数，根据水下传感器节点所获得的先验知识和邻居推荐方法自适应节点扫描波束的选取；

S4：采用Nash-Q学习方法对整个邻居发现过程进行建模，将水下传感器节点的单一波束建模为一个单智能体，则每个水下传感器节点的多波束建模为一个多智能体，采用Nash-Q学习方法，联合奖励函数完成波束选择的自适应策略，从而最小化波束的选择；

S5：设置自适应波束扫描，将Nash-Q学习输出的波束扫描序列作为新的波束扫描序列，重复执行步骤S2-S5，直到邻居发现过程执行完毕。

优选地，所述步骤S1中的水下传感器节点采用正十二面体模型构建波束模型，每个水下传感器节点均配备有定向换能器和矢量水听器，且通过波束成形方法构建十二个等大的波束，每个波束对应正十二面体的一个面，从而实现水声传感器节点的定向收发。

优选地，每个所述水下传感器节点均配备有压力传感器，用于获取深度信息，且每个所述水下传感器节点具有双波束，双波束采用两种不同的收发模式，包括发送波束与接收波束，且发送波束与接收波束不同时扫描相同波束。

优选地，所述步骤S2中水下传感器节点的波束扫描序列的具体设计方法如下：

采用连续环形仲裁系统设计波束扫描序列，假设水下传感器节点需要扫描n个波束，则时隙矩阵大小为h*w，如公式(1)所示：