[发明专利]基于反正切学习率因子的Q路由方法

权利要求书

1.一种基于反正切学习率因子的Q路由方法，其特征在于：包括如下步骤：

步骤1布局网络拓扑：在一块矩形平面区域内布置N个同构的无线自组织网络节点，或在m×m的矩形区域内根据动态随机游走模型布置M个移动节点，节点的通信距离为r，根据通信距离建立节点间的联接关系，形成网络拓扑；

步骤2建立网络Q值表：将网络中信源节点为o，信宿节点为d的数据包表示为P(o,d)；网络中每一节点对应于其它任一信宿节点经由某一邻居节点传输数据包时建立一个Q值变量，简称Q值，用来表示数据包经由此节点通过某一邻居节点传递到其它任一信宿节点所需的时间代价估计；将网络中当前节点x对应于信宿节点d经由邻居y的Q值表示为Q_x(d,y)，其中y为x的任一邻居节点；当前节点x遍历所有不同邻居和所有不同信宿节点的Q值，构成了当前节点的本地Q值表，所有节点的本地Q值表构成了整个网络的Q值表；Q值表中Q_x(d,y)值的大小表示当前节点x将数据包经由邻居y传递到信宿节点d的估计时间代价；

步骤3网络节点获得数据包传输最小时间代价邻居的估计值t：当前节点x收到数据包P(o,d)后，将数据包P(o,d)发送给其Q值表中信宿节点d对应具有最小时间代价的邻居y₁，同时y₁会返回当前节点x一个y₁传递数据包到信宿节点d的估计值t；

步骤4路由决策和对数据包传输最小时间代价邻居节点Q值进行更新：当前节点x根据当前传输数据包选择邻居节点中具有最小时间代价的邻居y₁作为数据包传输下一跳节点，决策出传输的下一跳节点后，进行数据包的传输；根据最小时间代价邻居Q值更新公式更新当前节点x的Q值表中对应信宿节点d和邻居节点y₁的Q_x(d,y₁)值：

式中是T时刻的Q_x(d,y₁)值表示，是T+1时刻更新的Q_x(d,y₁)的值表示；其中η代表基础学习率，为一个常数；q是数据包在节点x传输队列中的等待时间；s是数据包从x到邻居节点y₁的链路传输时间；t为y₁传递数据包到信宿节点d的Q值；当前节点x将计算出的Q_x(d,y)分享给它的所有邻居节点，供邻居节点将来计算信宿为d的数据包对应Q值时对应的估计值t使用；

步骤5当前节点对其它邻居节点Q值进行更新，并调节探索与利用路由策略：当前节点x如果存在y₁以外的其它邻居节点，则对当前节点x的Q值表中对应信宿d和其它邻居节点的各个Q值，逐一使用反正切学习率因子η'执行更新，通过对反正切学习率因子η'的自适应调节，平衡网络中探索与利用路由策略的关系，进而优化路由决策，完成一次数据包传输的路由过程；

步骤6路由过程循环：网络中各节点在传输数据包时，对数据包P(o,d)途经的节点依次重复执行步骤3～5；网络中各节点进行数据包路由的Q值表更新和路由决策，直至网络生命周期结束。

2.如权利要求1所述的基于反正切学习率因子的Q路由方法，其特征在于：步骤5中所述的对当前节点x的Q值表中对应信宿d和其它邻居节点y₂的各个Q值，逐一使用反正切学习率因子η'执行更新，计算公式如下式所示：

其中y₂为当前节点x的任一其它邻居节点；η'为反正切自适应学习率因子，η'的值在(0,1)范围；s₂是数据包从x到节点y₂的链路传输时间；式中是T时刻的Q_x(d,y₂)值表示，是T+1时刻更新的Q_x(d,y₂)的值表示。

3.如权利要求1所述的基于反正切学习率因子的Q路由方法，其特征在于：步骤5中反正切学习率因子η'的实现，计算公式如下式所示：

η′＝1-(2atan((T_max-T_est)/(2k₂π))/π)

式中k₂为常数，取值范围为(0,1]；通过调节k₂可以调节反正切学习率因子η'，进而对路由策略进一步进行调节；根据当前数据包传输节点x的Q值表计算出最大递交时间T_max与平均递交时间T_est之差，其中T_est为当前节点x的Q值表中对应信宿d所有邻居Q值的算术平均值，T_max是当前节点x到目前为止，曾经所得所有T_est值中的最大值；如果当前节点x的最大递交时间与平均递交时间之差T_max-T_est较大时，η'的值较小，说明此时网络路径选择相对稳定，网络不需要过多地进行路由探索，去寻找其它路径，而侧重于利用当前的路由策略；而当前节点x的最大递交时间与平均递交时间之差T_max-T_est不大时，此时η'较大，说明此时网络路径选择情况较复杂，需要加强探索网络中的其它更有效传输路径；反正切学习率因子η'在(0,1)范围内自适应地的调节学习率，平衡路由策略中的路径探索与利用关系。