[发明专利]网络拥塞控制方法、装置、计算机设备及存储介质

权利要求书

1.网络拥塞控制方法，其特征在于，包括：

获取为每条数据流分配的速率后得到的奖励所构成的矩阵，以得到执行奖励矩阵，并对所述执行奖励矩阵进行初始化；

获取每条数据流分配的速率所对应的最大奖励构成的矩阵，以得到最优奖励矩阵，并对所述最优奖励矩阵进行初始化；

在增强算法中的策略中随机选择当前链路的初始状态；

在当前链路的初始状态下，在数据流需要经过的链路中选择对应奖励最大的动作，根据所选择的动作对数据流分配对应的速率，以得到新的执行奖励矩阵以及新的链路状态；

根据新的执行奖励矩阵进行迭代，以得到新的最优奖励矩阵；

判断链路的所有状态以及数据流分配对应的速率所构成的训练集是否达到上限；

若链路的所有状态以及数据流分配对应的速率所构成的训练集达到上限，则采用使用BP神经网络逼近器逼近新的最优奖励矩阵所有的元素所对应的最优奖励值，以得到目标矩阵；

根据所述目标矩阵进行网络拥塞控制；

若链路的所有状态以及数据流分配对应的速率所构成的训练集未达到上限，则返回所述在增强算法中的策略中随机选择当前链路的初始状态；

其中，所述BP神经网络逼近器是通过链路的所有状态以及数据流分配对应的速率所构成的训练集训练神经网络所得的；

所述神经网络包括输入层、隐含层和输出层；

所述BP神经网络逼近器是通过链路的所有状态以及数据流分配对应的速率所构成的训练集训练神经网络所得的，包括：

获取链路的所有状态以及数据流分配对应的速率，以得到训练集；

将所述训练集中某一样本输入到神经网络的输入层，进行正向计算，以得到期望奖励值；

计算所述样本对应的最优奖励矩阵中元素与期望奖励值的误差；

判断所述误差是否小于阈值；

若所述误差不小于阈值，则使用梯度下降学习法进行神经网络的权重更新，并执行所述将所述训练集中某一样本输入到神经网络的输入层，进行正向计算，以得到期望奖励值；

若所述误差小于阈值，则判断所述训练集的样本是否全部输入到神经网络的输入层；

若所述训练集的样本是全部输入到神经网络的输入层，则输出所述期望奖励值，以构成目标矩阵；

若所述训练集的样本未全部输入到神经网络的输入层，则执行所述将所述训练集中某一样本输入到神经网络的输入层，进行正向计算，以得到期望奖励值。

2.根据权利要求1所述的网络拥塞控制方法，其特征在于，所述使用梯度下降学习法进行神经网络的权重更新，包括：

采用进行神经网络的权重更新，其中，W′表示下一状态更新的神经网络的所有权重的参数向量，W表示当前神经网络的所有权重的参数向量，α_N表示神经网络的学习率，E为样本对应的最优奖励矩阵中元素与期望奖励值的误差。

3.根据权利要求1所述的网络拥塞控制方法，其特征在于，所述根据所述目标矩阵进行网络拥塞控制之后，还包括：

判断增强学习算法中的策略所对应的状态是否都训练完毕；

若增强学习算法中的策略所对应的状态都训练完毕，则执行结束步骤；

若增强学习算法中的策略所对应的状态未训练完毕，则执行所述在增强算法中的策略中随机选择当前链路的初始状态。

4.根据权利要求3所述的网络拥塞控制方法，其特征在于，所述根据所述目标矩阵进行网络拥塞控制，包括：

根据所述目标矩阵对每条数据流分配对应的速率，以得到运行情况；

判断所述运行情况是否出现网络拥塞；

若所述运行情况出现网络拥塞，则执行所述在增强算法中的策略中随机选择当前链路的初始状态；

若所述运行情况未出现网络拥塞，则执行所述判断增强学习算法中的策略所对应的状态是否都训练完毕。