[发明专利]自适应能耗和延迟的水声传感器网络路由决策方法

摘要

本发明涉及一种基于深度Q网络的自适应能耗和延迟的水声传感器网络路由决策方法，包括下列的步骤：(1)以某传感器节点作为源节点，对从邻居节点接收到的剩余能量和深度信息进行数据预处理，作为深度Q网络的输入层信息；(2)构造深度Q网络；(3)构造损失函数；(4)考虑节点的剩余能量和深度，构造深度Q网络的回报函数；(5)初始化深度Q网络参数；(6)在将节点部署到水下之前采用离线训练的方式训练深度Q网络。

主权项

1.一种基于深度Q网络的自适应能耗和延迟的水声传感器网络路由决策方法，包括下列的步骤：(1)以某传感器节点作为源节点，对从邻居节点接收到的剩余能量和深度信息通过公式r_re＝re_ini/re_max和r_de＝de_ini/de_max进行数据预处理，作为深度Q网络的输入层信息，其中re_ini和de_ini分别表示某邻居节点当前的剩余能量和深度，re_max和de_max分别表示该源节点的所有邻居节点中具有最大剩余能量和深度的数值；(2)构造深度Q网络，包括输入层、若干隐藏层和输出层，通过全连接方式连接各层，输出层输出Q值，其中Q值表示在某一节点状态下做出某种行为的奖励值；(3)构造损失函数：通过公式L(w)＝E[(Q_real‑Q_esti(s_i,a_i,w))²]得到深度Q网络的损失函数，其中表示将要更新的奖励Q值，R(s_i,a_i)表示在状态s_i采取行动a_i后所获得的回报，γ表示折扣因子，P(s_i,a_i,s_i+1)表示在状态s_i采取行动a_i后转移到状态s_i+1的概率，Q_*(s_i+1,a_i+1,w)＝maxQ_esti(s_i+1,a_i+1,w)表示在下一个状态s_i+1采取行动a_i+1后所能获得的最大Q值，w是网络参数；Q_esti(s_i,a_i,w)表示在当前状态s_i下采取行动a_i能够获得的Q值；(4)考虑节点的剩余能量和深度，构造深度Q网络的回报函数：若当前源节点的下一跳节点是水面接收节点，则回报函数R(s_i,a_i)＝100；否则，回报函数R(s_i,a_i)＝c+αr_re+βr_de，其中α和β分别代表限定数据预处理后的剩余能量和深度权重的参数，c的值是α和β的总和且小于100；(5)初始化深度Q网络参数；(6)在将节点部署到水下之前采用离线训练的方式训练深度Q网络，利用公式对损失函数中的网络参数w进行梯度求导，利用公式更新参数w，其中η∈[0,1]；传感器网络的状态信息(包括相邻节点的连接关系，剩余能量和深度)为初始设定值；网络训练结束后，选择具有最大Q值的节点作为转发节点，从而获得源节点到水面接收节点的最优传递路径；(7)根据传感器节点初始状态信息在水下部署传感器网络，利用离线训练得到的深度Q网络参数和Q值，每获得一个状态和行为数据对所对应的损失函数，累积存储损失梯度直到设置的更新周期到期时通过公式统一更新参数w；通过水下传感器节点在不同通信阶段得到的更新状态信息，周期性在线训练深度Q网络，修正深度Q网络参数并得到更新后的Q值；选择具有最大Q值的节点作为转发节点，从而获得不同节点状态下的源节点到水面接收节点的最优传递路径；直到网络寿命终结，深度Q网络更新训练结束。