[发明专利]基于深度强化学习的智能路由决策方法、系统及存储介质

权利要求书

1.一种基于深度强化学习的智能路由决策方法，其特征在于，包括以下步骤：

获取第一网络状态信息，将所述第一网络状态信息输入到预先构建的策略神经网络，输出得到第一链路权重信息；

根据所述第一链路权重信息进行路由决策，确定第一路由转发流表，并根据所述第一路由转发流表进行网络流量转发，进而获取第二网络状态信息，并根据所述第二网络状态信息计算得到第一奖励值；

将所述第一网络状态信息和所述第一链路权重信息输入到预先构建的价值神经网络，输出得到第一评价值；

根据所述第一网络状态信息、所述第一链路权重信息、所述第二网络状态信息、所述第一评价值以及所述第一奖励值构建训练数据集，进而通过所述训练数据集对所述策略神经网络和所述价值神经网络进行参数更新。

2.根据权利要求1所述的一种基于深度强化学习的智能路由决策方法，其特征在于，所述获取第一网络状态信息这一步骤，其具体为：

通过SDN控制器获取各个网络链路的带宽利用率、各所述网络链路对应的两个交换机之间的传输时延以及各所述交换机的丢包率，根据所述带宽利用率、所述传输时延以及所述丢包率确定所述第一网络状态信息。

3.根据权利要求2所述的一种基于深度强化学习的智能路由决策方法，其特征在于，所述根据所述第一链路权重信息进行路由决策，确定第一路由转发流表，并根据所述第一路由转发流表进行网络流量转发这一步骤，其具体包括：

根据所述第一链路权重信息确定各所述网络链路的链路权重；

根据所述链路权重通过Floyd算法计算各所述交换机之间的加权最短路径，并根据所述加权最短路径确定所述第一路由转发流表；

通过所述SDN控制器将所述第一路由转发流表下发至所述交换机，使得所述交换机根据所述第一路由转发流表进行网络流量转发。

4.根据权利要求2所述的一种基于深度强化学习的智能路由决策方法，其特征在于，所述获取第二网络状态信息，并根据所述第二网络状态信息计算得到第一奖励值这一步骤，其具体包括：

当所述交换机根据所述第一路由转发流表进行网络流量转发后，获取第二网络状态信息，所述第二网络状态信息包括更新后所述带宽利用率、所述传输时延以及所述丢包率；

根据更新后的所述带宽利用率、所述传输时延以及所述丢包率计算得到所述第一奖励值。

5.根据权利要求1所述的一种基于深度强化学习的智能路由决策方法，其特征在于，所述通过所述训练数据集对所述策略神经网络和所述价值神经网络进行参数更新这一步骤，其具体包括：

根据所述训练数据集对所述价值神经网络的第一网络参数进行更新；

当所述第一网络参数的更新次数达到预设的第一阈值，根据所述训练数据集对所述策略神经网络的第二网络参数进行更新。

6.根据权利要求5所述的一种基于深度强化学习的智能路由决策方法，其特征在于，所述根据所述训练数据集对所述价值神经网络的第一网络参数进行更新这一步骤，其具体包括：

将所述第二网络状态信息输入到所述策略神经网络，输出得到第二链路权重信息；

将所述第二网络状态信息和所述第二链路权重信息输入到所述价值神经网络，输出得到第二评价值；

根据所述第一评价值、所述第二评价值以及所述第一奖励值确定所述价值神经网络的第一损失值；

根据所述第一损失值利用梯度下降算法更新所述第一网络参数。

7.根据权利要求5所述的一种基于深度强化学习的智能路由决策方法，其特征在于，所述根据所述训练数据集对所述策略神经网络的第二网络参数进行更新这一步骤，其具体包括：

将所述第一网络状态信息和所述第一链路权重信息输入到参数更新后的所述价值神经网络，输出得到第三评价值；

根据所述第三评价值利用梯度上升算法更新所述第二网络参数。