[发明专利]一种基于强化学习的骨干网络流量确定方法及系统

权利要求书

1.一种基于强化学习的骨干网络流量确定方法，其特征在于，包括：

获取骨干网络中所有的链路、所有的路由器和所有的端口；

根据所述骨干网络中所有的链路、所有的路由器和所有的端口，确定路由矩阵；

根据所述路由矩阵，确定即刻奖赏矩阵；所述即刻奖赏矩阵为在某一链路时，一个动作作用于所述骨干网络，所述骨干网络返回的奖赏值；所述奖赏值为每个动作设置的权重值；

根据所述即刻奖赏矩阵，确定累计奖赏矩阵；所述累计奖赏矩阵为所述即刻奖赏矩阵不断更新的累计奖赏值；

对所述累计奖赏矩阵进行强化学习，确定最优累计奖赏矩阵；所述最优累计奖赏矩阵为所述累计奖赏值最大的累计奖赏矩阵；

根据所述最优累计奖赏矩阵，确定骨干网络中待测量的路由器；

判断所述待测量的路由器是否小于端到端流量阈值，得到第一判断结果；所述端到端流量阈值为用户需要测量的路由器数目；

当所述第一判断结果表示所述待测量的路由器小于端到端流量阈值时，则返回所述根据所述最优累计奖赏矩阵，确定骨干网络中待测量的路由器的步骤；

当所述第一判断结果表示所述骨干网络中待测量的路由器大于或等于端到端流量阈值时，则直接测量所述待测量的路由器的流量，确定骨干网络流量。

2.根据权利要求1所述的一种基于强化学习的骨干网络流量确定方法，其特征在于，所述根据所述路由矩阵，确定即刻奖赏矩阵，具体包括：

根据所述路由矩阵，确定链路奖赏矩阵；

根据所述链路奖赏矩阵，确定端口奖赏矩阵；

根据所述骨干网络，确定修正矩阵；

根据所述端口奖赏矩阵和所述修正矩阵，确定即刻奖赏矩阵。

3.根据权利要求1所述的一种基于强化学习的骨干网络流量确定方法，其特征在于，所述根据所述路由矩阵，确定即刻奖赏矩阵，之前还包括：

计算骨干网络中每两条链路之间的相关因数；

根据相关因数，确定初始链路；所述初始链路为与其他链路的相关因数最大的链路。

4.根据权利要求3所述的一种基于强化学习的骨干网络流量确定方法，其特征在于，所述对所述累计奖赏矩阵进行强化学习，确定最优累计奖赏矩阵，之前还包括：

判断所述初始链路是否为目标链路，得到第二判断结果；所述目标链路为所述累计奖赏矩阵不会变化的链路；

当所述第二判断结果表示所述初始链路为目标链路时，则不进行强化学习，并直接确定所述累计奖赏矩阵为最优累计奖赏矩阵；

当所述第二判断结果表示所述初始链路不为目标链路时，则进行强化学习。

5.根据权利要求1所述的一种基于强化学习的骨干网络流量确定方法，其特征在于，所述根据所述最优累计奖赏矩阵，确定骨干网络中待测量的路由器，之后还包括：

将所述待测量的路由器从所述骨干网络中删除，并返回所述根据所述骨干网络中所有的链路、所有的路由器和所有的端口，确定路由矩阵的步骤。