[发明专利]自适应能耗和延迟的水声传感器网络路由决策方法

说明书

本发明涉及一种基于深度Q网络的自适应能耗和延迟的水声传感器网络路由决策方法，包括下列的步骤：(1)以某传感器节点作为源节点，对从邻居节点接收到的剩余能量和深度信息进行数据预处理，作为深度Q网络的输入层信息；(2)构造深度Q网络；(3)构造损失函数；(4)考虑节点的剩余能量和深度，构造深度Q网络的回报函数；(5)初始化深度Q网络参数；(6)在将节点部署到水下之前采用离线训练的方式训练深度Q网络。

技术领域

本发明属于水声传感器网络通信技术领域，涉及一种路由决策方法。

背景技术

水声传感器网络具有长传输延时，高能量消耗以及动态拓扑的特点。由于水声传感器节点体积大，难以更换电池，因而受限的资源限制了网络寿命，即网络的有效作用时间。针对这些问题，目前虽然提出了很多面向水声通信的路由决策方法，但是仍然存在很多缺点与问题，迫切需要更加全面的路由算法。

传统的路由协议采用最短路径算法缩短端到端延时，减少网络能耗，但是分布在最短路径上的“热点”节点会被频繁使用，因而缩短了网络寿命。为延长网络有效使用时间，许多智能路由决策算法被提出。这些路由协议选择剩余能量多的节点作为下一跳转发节点，但是未能全面权衡网络寿命与端到端延时和能量消耗之间的综合优化情况。

发明内容

针对上述问题，本发明提出一种自适应能耗和延迟的水声传感器网络路由决策方法，更加全面地考虑了水声通信的重要指标，从而可以延长网络寿命，提升通信网性能。技术方案如下：

一种基于深度Q网络的自适应能耗和延迟的水声传感器网络路由决策方法，包括下列的步骤：

(1)以某传感器节点作为源节点，对从邻居节点接收到的剩余能量和深度信息通过公式r_re＝re_ini/re_max和r_de＝de_ini/de_max进行数据预处理，作为深度Q网络的输入层信息，其中re_ini和de_ini分别表示某邻居节点当前的剩余能量和深度，re_max和de_max分别表示该源节点的所有邻居节点中具有最大剩余能量和深度的数值；

(2)构造深度Q网络，包括输入层、若干隐藏层和输出层，通过全连接方式连接各层，输出层输出Q值，其中Q值表示在某一节点状态下做出某种行为的奖励值；

(3)构造损失函数：通过公式L(w)＝E[(Q_real-Q_esti(s_i,a_i,w))²]得到深度Q网络的损失函数，其中表示将要更新的奖励Q值，R(s_i,a_i)表示在状态s_i采取行动a_i后所获得的回报，γ表示折扣因子，P(s_i,a_i,s_i+1)表示在状态s_i采取行动a_i后转移到状态s_i+1的概率，Q_*(s_i+1,a_i+1,w)＝maxQ_esti(s_i+1,a_i+1,w)表示在下一个状态s_i+1采取行动a_i+1后所能获得的最大Q值，w是网络参数；Q_esti(s_i,a_i,w)表示在当前状态s_i下采取行动a_i能够获得的Q值；