[发明专利]一种基于Sarsa的SDN数据中心拥塞控制方法

权利要求书

1.一种基于Sarsa的SDN数据中心拥塞控制方法，其特征在于，包含如下步骤：

步骤1：将Sarsa算法引入基于软件定义网络的数据中心；

步骤2：基于改进的Sarsa算法，对Q矩阵进行训练；具体包含如下子步骤：

2-1.按照先验知识，给定奖励矩阵R，并将Q矩阵初始化；

2-2.改进Sarsa算法中选取action的方法，使算法结合当前状态以及当前flow所经过的链路两个条件，在R矩阵中选择最大奖励对应的action；同时，采取ε-greedy策略保证Sarsa学习算法的收敛性；

2-3.执行所选择的action，观察reward和新的链路状态，根据Q(S,a)←Q(S,a)+α[r+γQ(S',a')-Q(S,a)]迭代更新值函数Q(S,a)；

其中S表示当前状态；a表示当前状态下选择的动作；S'和a'则分别表示后续的状态和动作；迭代更新值函数Q(S,a)表示当前状态s下执行动作a后的Q值，Q(S',a')表示下一状态S'下执行动作a'后的Q值，r是当前状态S下执行动作a后的奖励，γ为折扣因子，α为学习效率；

2-4.循环执行Q矩阵训练过程，直到s为最终状态，得到训练后的Q矩阵；

步骤3：根据具体的flow请求，结合上述步骤2得到的经过训练得到的Q矩阵和最终策略，对SDN数据中心网络进行拥塞控制；

步骤3中具体的拥塞控制方法包含如下步骤：

3-1.获取分配的flow条数N，以及这些flow占用的链路情况、流的速率需求；

3-2.获取当前所有链路的初始状态，即数据中心网络当前所有链路的带宽占用情况；

3-3.根据改进的Sarsa算法训练得到的Q矩阵，为当前flow选择当前Q矩阵中的最大Q值对应的动作执行，即为当前flow分配速率,然后更新当前的链路状态，同时记录当前流的flow与rate的映射；

3-4.判断N条flow是否全部分配完毕；如若没有，则需要返回到步骤3-3对下一条flow继续循环，直到为所有的flow分配速率；若分配完毕，则执行步骤3-5；

3-5.输出N条流的flow与rate的映射表，以此对数据中心进行全局的拥塞控制；

改进Sarsa算法中选取action过程中，同时考虑学习速度和收敛性：以Sarsa算法解决SDN数据中心的拥塞控制问题，提高学习速度；同时以ε-greedy策略保证Sarsa算法的收敛性。

2.如权利要求1所述的一种基于Sarsa的SDN数据中心拥塞控制方法，其特征在于：所述的Sarsa算法，是增强学习中的一种在策略的时序差分算法；所述的增强学习，是一种通过感知环境状态信息来学习动态系统的最优策略，通过试错法不断与环境交互来改善自己的行为的学习方法；SDN的数据中心拥塞控制问题是指基于flow的拥塞控制问题，即对所有的flow统筹分配速率，既尽力满足flow的速率请求，又保证整个数据中心网络不产生拥塞。