[发明专利]一种基于Sarsa的SDN数据中心拥塞控制方法

摘要

本发明公开了一种基于Sarsa的SDN数据中心拥塞控制方法。本发明方法基于SDN的网络背景，提出一种基于流的拥塞控制思想，引入增强学习中的Sarsa算法，根据数据中心网络链路的负载变化，实时智能地全局分配流的速率，使整个网络避免拥塞的前提下，链路利用率尽可能高，从而实现整个数据中心的拥塞控制。本发明提出改进的Sarsa算法，对Q矩阵进行训练；再根据流的请求，利用训练得到的Q矩阵，进行速率分配，从而实现拥塞控制。本发明提供了一种控制效果较好，控制算法易实现，低时延以及能实时地自适应的SDN数据中心拥塞控制方法。本发明为SDN数据中心的拥塞控制问题提出了一种基于增强学习Sarsa算法的智能解决方法。

主权项

一种基于Sarsa的SDN数据中心拥塞控制方法，其特征在于，包含如下步骤：步骤1：将Sarsa算法引入基于软件定义网络的数据中心；步骤2：基于改进的Sarsa算法，对Q矩阵进行训练；具体包含如下子步骤：2‑1.按照先验知识，给定奖励矩阵R，并将Q矩阵初始化；2‑2.改进Sarsa算法中选取action的方法，使算法结合当前状态以及当前flow所经过的链路两个条件，在R矩阵中选择最大奖励对应的action；同时，采取ε‑greedy策略保证Sarsa学习算法的收敛性；2‑3.执行所选择的action，观察reward和新的链路状态，根据Q(S,a)←Q(S,a)+α[r+γQ(S',a')‑Q(S,a)]迭代更新值函数Q(S,a)；其中S表示当前状态；a表示当前状态下选择的动作；S'和a'则分别表示后续的状态和动作；迭代更新值函数Q(S,a)表示当前状态s下执行动作a后的Q值，Q(S',a')表示下一状态S'下执行动作a'后的Q值，r是当前状态S下执行动作a后的奖励，γ为折扣因子，α为学习效率；2‑4.循环执行Q矩阵训练过程，直到s为最终状态，得到训练后的Q矩阵；步骤3：根据具体的flow请求，结合上述步骤2得到的经过训练得到的Q矩阵和最终策略，对SDN数据中心网络进行拥塞控制。