[发明专利]一种水声传感器网络合作探索强化学习路由方法

权利要求书

1.一种水声传感器网络合作探索强化学习路由方法，其特征在于，该方法包括以下步骤：

步骤1：初始化各节点Q值及V值；

步骤2：确定源节点s下一时刻的V值

其中，V_t^s表示源节点s在t时刻的V值；α为更新速率；γ为折扣因子；ω为控制包探测路径的归一化参数；奖励函数R_sj为源节点s向节点j传输数据包/控制包完成后所获得的即时奖励，R_sj＝-g-α₁c+α₂d，g为节点在传输数据时的固定损耗，c为节点剩余能量消耗函数，d为节点能量分布情况，α₁和α₂分别为c和d的比重参数；

步骤3：若则源节同时发送数据包和控制包；若则源节点只发送数据包；ε表示一个大于0的极小值；

步骤4：中继节点收到数据包/控制包后，读取包头，将上一跳节点的信息更新至自己的邻居列表中，并判断其是否继续发往本节点；若该数据包/控制包发往本节点，计算Q值，选定Q值为Q_max的节点为下一跳节点，并将V值更新为Q_max，并改写节点信息至包头继续传输；

其中，表示节点n在t时刻的Q值；奖励函数R_nm为第一节点n向第二节点m传输数据包/控制包完成后所获得的即时奖励，R_nm＝-g-α₁c+α₂d；

步骤5：若汇聚节点sink收到数据包，则结束本次传输；否则，重复步骤(2)到步骤(4)，直至sink收到数据包。