[发明专利]一种基于Sarsa的SDN数据中心拥塞控制方法

说明书

本发明公开了一种基于Sarsa的SDN数据中心拥塞控制方法。本发明方法基于SDN的网络背景，提出一种基于流的拥塞控制思想，引入增强学习中的Sarsa算法，根据数据中心网络链路的负载变化，实时智能地全局分配流的速率，使整个网络避免拥塞的前提下，链路利用率尽可能高，从而实现整个数据中心的拥塞控制。本发明提出改进的Sarsa算法，对Q矩阵进行训练；再根据流的请求，利用训练得到的Q矩阵，进行速率分配，从而实现拥塞控制。本发明提供了一种控制效果较好，控制算法易实现，低时延以及能实时地自适应的SDN数据中心拥塞控制方法。本发明为SDN数据中心的拥塞控制问题提出了一种基于增强学习Sarsa算法的智能解决方法。

技术领域

本发明涉及网络通信技术领域，具体涉及一种基于Sarsa的SDN(SoftwareDefined Network,软件定义网络)数据中心网络(Data Center Network,DCN)的拥塞控制方法。

背景技术

互联网经过几十年的飞速发展，已经成为当今社会生活和生产不可缺少的一部分，处于不同地理位置的人们可以利用计算机网络进行声音、图片、视频、文字的交流以及从万维网上获取大量的多媒体资源。如今Internet已经基本覆盖了全球所有的地区，我们利用Internet进行的各种行为都是在无数数据中心的支持下运转的，所以数据中心网络的建设和国家交通、能源等基础设施的建设一样非常重要。随着近几年云计算和大数据的飞速发展以及通信业务急剧增加，数据中心的流量呈井喷式增长，伴随着流量的激增，数据中心网络(Data Center Network，DCN)存在着越来越大的问题。

传统的网络架构方式中，数据中心网络一般采用树形分层结构，其中较为经典的就是由核心交换层、汇聚层、用户层或接入层等三层组成。随着通信流量的增加，核心交换层的带宽会出现很大压力，很容易造成拥塞，丢包，传输延迟高，吞吐量低等问题。此外，传统的路由协议BGP、OSPF、ECMP无法较好的适应新的拓扑结构，并且，数据中心网络的数据流具有高突发性的特点，传统路由协议中的路由算法不能较好的完成调度和转发，对于拥塞控制算法的设计十分困难，所以数据中心网络面临极高的拥塞风险。

增强学习方法最早可回溯于高等动物和人的在探索自然界中的心理反应，早期人类在探索自然环境中不是被动的等待，而是通过与环境不断的探索和尝试，类似于一种＂尝试与失败＂的机制，并根据自然的反馈的信息，然后慢慢改变自己的决策。在这个学习过程中，主要借助与环境的不断的交互，并根据当前获得的类似于一些奖赏性反馈信号，根据这些奖赏性的信号来改进当前的行为策略。近年来，随着强化学习的研究与发展，已经成为人工智能领域的一个热点问题，并和认知科学学习也理学理论、等有着密切的关系，是一种非常重要的机器学习方法。Sarsa算法是一种在策略的增强学习算法，在Sarsa算法中，选择动作时遵循的策略和更新动作值函数时遵循的策略是相同的。Sarsa算法的优点是直接了当，速度快。劣势是不一定找到最优策略，为此常在Sarsa算法中利用ε-greedy策略避免陷入局部最优。

本发明提出了一种基于Sarsa的SDN数据中心拥塞控制方法。本发明方法基于SDN的网络背景，提出基于流(flow)的拥塞控制思想，引入增强学习中的Sarsa算法，并根据数据中心网络链路的负载变化，实时智能地全局分配流的速率，使整个网络避免拥塞的前提下，使数据链路利用率尽可能高，从而实现整个数据中心的拥塞控制。本发明为SDN数据中心的拥塞控制问题提出了一种基于Sarsa的智能解决方法，该方法同时考虑学习速度和收敛性，提高网络的吞吐量、业务的性能及服务质量，从而促进数据中心节能化，实现绿色通信。

发明内容

本发明的目的是解决基于SDN架构的数据中心网络的拥塞控制问题，提出了一种基于Sarsa的SDN数据中心网络的拥塞控制方法。

本发明的目的是通过以下技术方案来实现的：一种基于Sarsa的SDN数据中心拥塞控制方法，该方法具体包括以下步骤：

步骤1：将Sarsa算法引入基于软件定义网络的数据中心；