[发明专利]一种基于深度强化学习的网络流量调度方法以及系统

说明书

本发明公开了一种基于深度强化学习的网络流量调度方法，旨在提供智能路由，同时利用网络状态信息，在做出路由决策时探索、利用和学习最佳路径。本发明通过收集网络信息，计算出整个网络中的所有链路状态指标，并设计了与带宽、时延和丢包率相关的奖励函数，采用双重深度Q学习网络DDQN对路径状态信息进行探索与学习，得出每一对源、目的节点之间的最优路径。本发明利用SDN提供的网络全局视图以及DRL智能体与环境的交互，预先在数据层的交换机上安装最佳路由；本发明还提出了一种基于该方法的流量调度系统，采用包括知识层、管理层、控制层和数据层的四层SDN结构，实现了网络流量随着实际环境动态调度。

技术领域

本发明涉及网络技术领域，特别是一种基于深度强化学习的网络流量调度方法以及系统。

背景技术

随着互联网的快速发展，人们对广域网数据传播有了更高的要求。一方面需要更大的带宽保障，一方面对数据传输的可靠性提高了要求。在这种情况下，如何选取满足QoS需求的链路成了当下的研究热点。

基于早期提出的“推动网络的创新，需要在硬件数据通路上编程”的论述，即动态网络，研究人员一开始想法就是分层，将数据与控制分开。随着研究的进行，三层的SDN(软件定义网络)应运而生。实现了对底层数据的解耦合，数据与控制层分开。传统的研究思路在SDN架构中控制层使用OSPF等传统算法进行链路选择，但局限性很大，传统算法只是选择跳数最短的链路，并不是实际上时延最小或者带宽较大的链路，容易造成链路阻塞。在此基础上，Q学习为寻路提供了很好的帮助，基于马尔科夫决策的Q学习为每一个状态遍历所有可以选择的动作，从而选择最优的动作，局限性在于当状态和动作逐渐增加时，遍历效率就变得低下，也会浪费很大的存储空间。

发明内容

发明目的：为克服现有技术的局限，本发明目的在于提供一种网络流量调度方法以及系统，采用了一种基于深度强化学习的深度Q学习来进行寻路，通过利用SDN的全局视图，与实际环境交互，在学习与训练中通过计算链路之间的实际指标来获得最优最合适的链路，最后将智能体部署到真实环境中，达到智能化的寻路结果。

技术方案：为实现上述发明目的，本发明采用以下技术方案：

基于深度强化学习的网络流量调度方法，包括如下步骤：

软件定义网络SDN控制器收集网络信息，包括端口、带宽和时延信息；

对收集到的网络信息进行处理，计算出整个网络中的所有链路状态指标，包括带宽指标、时延指标和丢包率，并将每一条链路的相关信息设置成元组形式，存储到网络信息数据存储库中；每一个元组包括源节点，目的节点以及对应的指标信息；

以网络信息数据存储库中的信息作为输入，为随机状态S_t选择最优的动作A_t，然后到达下一个状态S_t+1，同时获得奖励R_t；将新的元组信息S_t,A_t,S_t+1,R_t存储在数据集中，方便后续采用经验重放机制进行训练；

根据全局视图，采用双重深度Q学习网络DDQN对路径状态信息进行探索与学习，计算出每一对源、目的节点之间的最优路径，将这些路径存储在链路数据存储库；

根据实际流量转发需求，检索最优路径，同时将检索到的最优路径部署到相应的路由设备上。

作为优选，SDN控制器从底层转发设备收集网络信息，根据这些信息生成整个网络的实际拓扑图，通过周期性地收集节点和链路的拓扑信息，检测节点和链路相关的拓扑变化，并将这些信息存储到网络信息数据存储库中，实时提供更新后的全局视图。

作为优选，使用深度强化学习DRL来计算出最优路径，将路径状态信息作为输入，输出的是动态变化的最优路径，根据实时的拓扑变化，寻路会出现不同的结果，最后部署或者更新交换机的路径信息。