[发明专利]一种基于强化学习的智能路由方法

说明书

本发明公开一种基于强化学习的智能路由方法，针对先应式路由需要维护全局路由表，会带来较大的通信开销，反应式路由在发送数据前需要进行一次寻路操作，又会造成时延较大的问题；本发明的方法为不同优先级的业务分别维护一张Q‑表，并根据不同优先级的自适应概率p确定是否进行全回声探索，然后进行路由的更新、维护与决策；本发明按照自适应的概率p进行全回声探索，减少了路由开销；结合全回声探索与Q‑值的更新机制在一定程度上降低了系统时延。

技术领域

本发明属于通信网络领域，特别涉及一种无线自组织网络中的智能路由技术。

背景技术

无线自组织网络，又称为Ad-Hoc网络，是一种对等网络，不依赖网络基础设施而进行通信。由于无线信号衰减迅速，节点的传输范围有限，干扰与噪声又无处不在。因此，在数据发送的过程中，源节点一般需要其他节点的数据中继，所以，路由协议是无线自组织网络中，不可缺少的关键部分。

路由协议是网络中从源节点经过若干个中继节点将报文发送到目的节点的机制。传统的路由协议可以分为先应式、反应式两类。先应式路由在任何情况下，每个节点都掌握着全局拓扑，维护了到任意其他节点的路由表，所以又称为表驱动的路由协议，代表协议为基于Dijkstra算法的LSR路由协议与基于Bellman-ford算法的DSDV路由协议。反应式路由是一种只有在需要发送数据时，才进行节点间路径建立的路由，不需要维护路由表，也不需要进行定期的更新，反应式路由在网络流量较小的时候，可以显著减少路由开销，代表协议为DSR路由协议与AODV路由协议。

在网络智能化的需求下，无线自组织这类具有动态的网络拓扑的网络，路由协议应该在满足业务的QoS需求的同时，增强路由的自适应性，减少寻路机制的复杂性，降低路由开销，高效利用网络有限的资源。先应式路由需要维护全局路由表，在拓扑变化的网络中，会带来较大的通信开销，而反应式路由在发送数据前需要进行一次寻路操作，又会造成时延较大的问题。

发明内容

为解决上述技术问题，本发明提出一种基于强化学习的智能路由方法，节点为不同优先级的业务分别维护一张Q-表，在一定程度上降低了系统时延，减少了路由开销，并且很好的协调了不同优先级的业务。

本发明采用的技术方案为：一种基于强化学习的智能路由方法，包括：

节点为每一种业务维护一张Q-表；

根据自适应概率，确定当前节点是否进行全回声探索，若是，则更新该节点对应业务的Q-表后执行以下过程；否则直接执行以下过程：

为当前节点缓冲队列中的每一个报文选择多个备选下一跳；并根据匈牙利最大匹配算法获得匹配决策。

进一步地，根据自适应概率，确定当前节点是否进行全回声探索；具体为：若当前节点生成的(0，1)区间内的随机数大于自适应概率，则进行全回声探索，否则不进行全回声探索。

进一步地，执行全回声探索后，更新该节点对应业务的Q-表，具体为：当前节点的邻居节点收到全回声探测报文后，根据全回声探测报文所属业务的Q-表中查找到达该业务目的节点的最优Q-值，并将该最优Q-值反馈给节点x，节点x根据反馈的最优Q-值对该业务Q-表进行更新。

进一步地，为当前节点缓冲队列中的每一个业务报文选择多个备选下一跳，具体为：根据业务报文在当前节点的平均排队时延，确定N个备选下一跳作为该业务报文的备选下一跳。

更进一步地，所述N个备选下一跳的Q-值属于集合[q,q+r_i]，q表示当前业务的Q-表中的最优Q-值，r_i表示第i种业务的报文在当前节点的平均排队时延。

进一步地，根据匈牙利最大匹配算法获得匹配决策，具体包括以下分步骤：

A1、根据各业务报文对应的备选下一跳生成一张二分图；