[发明专利]网络拥塞控制方法、装置、计算机设备及存储介质

说明书

本发明涉及网络拥塞控制方法、装置、计算机设备及存储介质，该方法包括获取执行奖励矩阵，并进行初始化；获取最优奖励矩阵，并进行初始化；在增强算法中的策略中随机选择当前链路的初始状态；在当前链路的初始状态下，在数据流需要经过的链路中选择对应奖励最大的动作，根据所选择的动作对数据流分配对应的速率，以得到新的执行奖励矩阵及新的链路状态；根据新的执行奖励矩阵进行迭代，以得到新的最优奖励矩阵；判断训练集是否达到上限；若是，则采用使用BP神经网络逼近器逼近新的最优奖励矩阵所有的元素所对应的最优奖励值，以得到目标矩阵；并进行网络拥塞控制。本发明实现在训练集已经达到最大值的情况下继续进行训练，避免网络拥塞的发生。

技术领域

本发明涉及网络通信技术领域，更具体地说是指网络拥塞控制方法、装置、计算机设备及存储介质。

背景技术

随着云计算的发展，数据中心内部通信业务急剧增加、网络流量显著增长，数据中心网络的带宽很难满足密集型应用的带宽需求，面临着网络拥塞的风险。传统的计算机网络是分布式的复杂结构，拥塞算法的设计极为困难，很难满足当前需求，SDN(软件定义网络，Software Defined Network)的出现和发展使数据中心网络拥塞控制的问题得到了新的解决办法。强化学习是一种无模型的学习算法，在强化学习的模型中，智能体可以与环境交互进行学习，做出很好的决策。

网络拥塞控制是一个决策的过程。强化学习解决问题的侧重点就是决策控制，Q-Learning算法是强化学习的一种经典的算法，对于强化学习算法的发展具有重要意义，使用Q-Learning可以使智能体在无模型的情况下学习，在现实环境中，由于网络拓扑复杂，Q-learning算法通常会面临“维数灾”问题，由于Q-learning算法单一学习周期的值函数估计表Q(S,a)规模为|S|*|a|，其中，S为状态，a为执行动作，Q(S，a)表示状态S下执行动作a获得的最大未来奖励，随着学习周期的增加，基本的Q-Learning算法使用储存表的方式存储训练集，当学习任务的空间维数巨大时，采用储存表已经无法满足学习任务的需求了，训练集将持续占用大量的存储资源，导致学习过程无法完成。

因此，有必要设计一种新的方法，实现在训练集已经达到最大值的情况下继续进行训练，以达到每一条流分配的速率可使链路的利用率最高的目标，且避免网络拥塞的发生。

发明内容

本发明的目的在于克服现有技术的缺陷，提供网络拥塞控制方法、装置、计算机设备及存储介质。

为实现上述目的，本发明采用以下技术方案：网络拥塞控制方法，包括：

获取为每条数据流分配的速率后得到的奖励所构成的矩阵，以得到执行奖励矩阵，并对所述执行奖励矩阵进行初始化；

获取每条数据流分配的速率所对应的最大奖励构成的矩阵，以得到最优奖励矩阵，并对所述最优奖励矩阵进行初始化；

在增强算法中的策略中随机选择当前链路的初始状态；

在当前链路的初始状态下，在数据流需要经过的链路中选择对应奖励最大的动作，根据所选择的动作对数据流分配对应的速率，以得到新的执行奖励矩阵以及新的链路状态；

根据新的执行奖励矩阵进行迭代，以得到新的最优奖励矩阵；

判断链路的所有状态以及数据流分配对应的速率所构成的训练集是否达到上限；

若链路的所有状态以及数据流分配对应的速率所构成的训练集达到上限，则采用使用BP神经网络逼近器逼近新的最优奖励矩阵所有的元素所对应的最优奖励值，以得到目标矩阵；

根据所述目标矩阵进行网络拥塞控制；

若链路的所有状态以及数据流分配对应的速率所构成的训练集未达到上限，则返回所述在增强算法中的策略中随机选择当前链路的初始状态；