[发明专利]基于反正切学习率因子的Q路由方法

说明书

本发明公开了一种基于反正切学习率因子的Q路由方法，解决了现有算法附加学习率因子调节能力有限的问题，其实现有：布局网络拓扑；建立网络Q值表；网络节点获得最小时间代价邻居的估计值；路由决策和对数据包传输最小时间代价邻居节点Q值更新；当前节点对其它邻居节点Q值进行更新；路由过程循环，实现无线自组织网络的自适应调节路由。本发明使用调节范围大的学习率因子对网络中未接收数据包的邻居节点Q值进行更新，能因网络不同情况自适应调节。本发明降低了在高、低负载时数据的平均递交时间和路由间的振荡；只需局部节点信息即可实现路由选择，避免过大网络开销，用于无线自组织网络通信。

技术领域

本发明属于通信技术领域，涉及无线自组织网络的Q路由，具体是基于反正切学习率因子的Q路由方法，用于无线自组织网络。

在不增加网络路由开销的前提下，能够实现对数据包路由的合理决策，降低网络的路由时延，减少路由振荡，提高数据包的成功投递率。

背景技术

无线自组织是一种没有固定基础设施的网络，网络中通常没有集中控制的节点，节点间通过自组织成网来进行通信。通常网络中的节点可以自由移动，在移动自组织网络中，节点的不断移动导致拓扑不断变化。拓扑变化对网络路由带来极大挑战，传统的基于对流量和网络状况改变大量假设的路由技术越来越被认为不适合复杂、高度变化条件的移动无线延迟容忍网络。事实上，假设条件如果在现实网络不能满足，网络性能与预期模拟性能将存在很大偏差。在这些方面所做的工作主要有：检测节点队列长度，利用节点反馈信息对网络状态进行更新，权衡路由中探索与利用有效路径的关系。

强化学习是解决现实网络状况的有效替代方案。强化学习适用于解决与分布式系统相关的优化问题，尤其适用于网络中的路由问题，它可以从以前与环境的交互中学习，从而在未来有效地选择其行为，用于优化无线自组织网络中的路由选择。

Q学习(Q-learning)是强化中最常用的学习方法。Q学习的作者Watkins证明了只要在所有状态下对所有动作进行重复采样，Q学习就能以概率1收敛到最佳动作值。因此，Q学习是延迟强化中应用最广泛和最有效的学习方法，然而收敛速度仍然是一个悬而未决的问题。自适应全回波Q路由(AQFE)算法是近年来被提出的一种基于Q学习获得最优递交延迟的逐跳Q路由方法；它具有前期学习包数要求低、状态空间小以及动作空间较小等特点。但是Q路由普遍存在的一些问题依然显著：1.训练前期Q值有较长时间不可靠；2.收敛到最优解速度慢；3.参数的稳健性差，算法性能不稳定。

现有技术以上的缺陷，限制了网络中路由性能的提高，导致网络中时延增加，算法收敛速度比较慢，算法性能不稳定。从而影响了基于Q学习的路由算法的应用性能。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种自适应调节范围广，收敛速度更快的基于反正切学习率因子的Q路由方法。

步骤1布局网络拓扑：在一块矩形平面区域内布置N个同构的无线自组织网络节点，或在m×m的矩形区域内根据动态随机游走模型布置M个移动节点，节点的通信距离为r，根据通信距离建立节点间的联接关系，形成网络拓扑；

步骤2建立网络Q值表：将网络中信源节点为o，信宿节点为d的数据包表示为P(o,d)；网络中每一节点对应于其它任一信宿节点经由某一邻居节点传输数据包时建立一个Q值变量，简称Q值，用来表示数据包经由此节点通过某一邻居节点传递到其它任一信宿节点所需的时间代价估计；将网络中当前节点x对应于信宿节点d经由邻居y的Q值表示为Q_x(d,y)，其中y为x的任一邻居节点；当前节点x遍历所有不同邻居和所有不同信宿节点的Q值，构成了当前节点的本地Q值表，所有节点的本地Q值表构成了整个网络的Q值表；Q值表中Q_x(d,y)值的大小表示当前节点x将数据包经由邻居y传递到信宿节点d的估计时间代价；