[发明专利]网络中流量动态调整方法、系统、电子设备及存储介质

权利要求书

1.一种网络中流量动态调整方法，其特征在于，包括：

获取网络中任一边界路由器节点收集的局部网络状态信息；

将所述任一边界路由器节点收集的局部网络状态信息输入对应训练后的第一预设子模型，得到输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例，其中，所述源边界路由器节点为所述任一边界路由器节点，所述目的边界路由器节点为网络中的出口边界路由器节点；

每一个源边界路由器节点对应一个第一预设子模型，还包括第二预设子模型，多个所述第一预设子模型和所述第二预设子模型组成预设模型；

通过如下方式对每一个第一预设子模型进行训练：

在当前时刻，将网络中每一个源边界路由器节点收集的局部网络状态信息输入每一个源边界路由器节点对应的第一预设子模型，输出从每一个源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例；

将网络中每一个源边界路由器节点对应的流量分割比例进行组合，得到组合后的流量分割比例集合；以及将每一个源边界路由器节点收集的局部网络状态信息进行组合，得到组合后的全局网络状态信息；

将流量分割比例集合和全局网络状态信息输入第二预设子模型中，输出对应的当前状态-动作价值Q；

对于任一个源边界路由器节点，将其对应的流量分割比例替换为均等分割比例，除所述任一个源边界路由器节点之外的源边界路由器节点对应的流量分割比例不变，形成更新的流量分割比例集合；

将更新后的流量分割比例集合和所述全局网络状态信息再次输入第二预设子模型中，输出与所述任一个源边界路由器节点对应的基准动作-状态价值b；

根据所述当前状态-动作价值Q和所述基准动作-状态价值b，得到与所述任一个源边界路由器节点的当前动作对应的贡献值A；

根据所述贡献值A对所述任一个源边界路由器节点对应的第一预设子模型的模型参数进行调整，得到训练后的所述任一个源边界路由器节点对应的第一预设子模型。

2.根据权利要求1所述的网络中流量动态调整方法，其特征在于，所述任一边界路由器节点收集的局部网络状态信息包括从源边界路由器节点到目的边界路由器节点的每一条备选路径上的最大链路利用率和每一条备选路径上所有网络设备的最大排队长度信息。

3.根据权利要求1或2所述的网络中流量动态调整方法，其特征在于，还包括：

采用预设方法从源边界路由器节点到目的边界路由器节点的所有网络路径中确定出多条备选路径。

4.根据权利要求3所述的网络中流量动态调整方法，其特征在于，所述采用预设方法从源边界路由器节点到目的边界路由器节点的所有网络路径中确定出多条备选路径包括：

采用无关路由算法从源边界路由器节点到目的边界路由器节点的所有网络路径中计算出具有多样性的多条备选路径；或者，

采用K-SPF算法从源边界路由器节点到目的边界路由器节点的所有网络路径中计算出多条备选路径。

5.根据权利要求1所述的网络中流量动态调整方法，其特征在于，通过如下方式对所述第二预设子模型进行训练：

在所述当前时刻的下一时刻，将网络中每一个源边界路由器节点收集的局部网络状态信息输入每一个源边界路由器节点对应的第一预设子模型，输出从每一个源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例；

将网络中每一个源边界路由器节点对应的流量分割比例进行组合，得到组合后的流量分割比例集合；以及将每一个源边界路由器节点收集的局部网络状态信息进行组合，得到组合后的全局网络状态信息；

将流量分割比例集合和全局网络状态信息输入第二预设子模型中，输出对应的Q′值，其中，Q′值为下一时刻对应的状态-动作价值；

根据所述Q′值与Q值计算当前状态动作的均方贝尔曼误差，根据所述均方贝尔曼误差对所述第二预设子模型的模型参数进行调整，得到训练后的第二预设子模型。