[发明专利]一种路由选择方法、装置、电子设备及存储介质

权利要求书

1.一种路由选择方法，其特征在于，包括：

获取目标网络拓扑结构；

基于所述目标网络拓扑结构，生成目标路由方案及目标网络流量，所述目标网络流量包括所述目标网络拓扑结构中每条链路中节点之间的流量负载；

将所述目标网络拓扑结构、所述目标路由方案及所述目标网络流量输入到图神经网络模型，得到所述图神经网络模型输出的所述目标路由方案中每条链路中节点之间的网络延迟，所述图神经网络模型为利用网络拓扑结构、路由方案及网络流量及与所述路由方案中每条链路中节点之间的网络延迟训练得到的；

将所述目标路由方案中每条链路中节点之间的网络延迟输入到深度强化学习网络模型，得到所述深度强化学习网络模型输出的每个所述节点作为每个下一跳节点的动作价值，所述深度强化学习网络模型为利用基于马尔可夫决策过程获得的四元组训练得到，所述四元组包括：链路中节点之间的网络延迟、表征选择链路的输出动作、执行所述输出动作收获的奖励及执行所述输出动作后链路中节点之间的网络延迟；

基于所述深度强化学习网络模型输出的每个所述节点作为每个下一跳节点的动作价值，从多个所述节点中选择出分别作为每个所述下一跳节点的目标节点，并基于多个所述目标节点，确定待使用路由。

2.根据权利要求1所述的方法，其特征在于，所述将所述目标网络拓扑结构、所述目标路由方案及所述目标网络流量输入到图神经网络模型，得到所述图神经网络模型输出的所述目标路由方案中每条链路中节点之间的网络延迟，包括：

分别将所述目标网络拓扑结构、所述目标路由方案及所述目标网络流量转换为符合预先建立的统一资源描述模型的待处理网络拓扑结构、待处理路由方案及待处理网络流量；

利用归一化公式对所述待处理网络流量包括的所述待处理网络拓扑结构中每条链路中节点之间的流量负载进行归一化处理，得到标准流量负载，所述x表示所述流量负载，所述x_min表示所述目标网络拓扑结构中多条链路中节点之间的流量负载中的最小值，所述x_max表示所述目标网络拓扑结构中多条链路中节点之间的流量负载中的最大值；

将所述待处理网络拓扑结构、所述待处理路由方案及所述标准流量负载组成的标准网络流量输入到图神经网络模型，得到所述图神经网络模型输出的所述待处理路由方案中每条链路中节点之间的网络延迟。

3.根据权利要求2所述的方法，其特征在于，在所述图神经网络采用消息传递神经网络框架的情况下，所述将所述待处理网络拓扑结构、所述待处理路由方案及所述标准流量负载组成的标准网络流量输入到图神经网络模型，得到所述图神经网络模型输出的所述待处理路由方案中每条链路中节点之间的网络延迟，包括：

将所述待处理网络拓扑结构、所述待处理路由方案及所述标准流量负载组成的标准网络流量输入到消息传递阶段模型中，获得所述消息传递阶段模型通过执行转换过程，输出的所述待处理网络拓扑结构中每个节点的状态；

所述转换过程，包括：将所述待处理网络拓扑结构中每个节点的当前状态及其相邻节点的流量负载及所述相邻节点的状态进行聚合，得到聚合结果，并利用所述聚合结果及所述节点的历史状态更新所述节点的当前状态，得到所述节点的状态；

将所述待处理网络拓扑结构中每个节点的状态，输入到消息读取阶段模型中，得到所述消息读取阶段模型输出的所述待处理路由方案中每条链路中节点之间的网络延迟。

4.根据权利要求1所述的方法，其特征在于，所述深度强化学习网络模型的训练过程，包括：

将路由选择问题建模为马尔可夫决策过程，并获得多个四元组，所述四元组包括：链路中节点之间的网络延迟、表征选择链路的输出动作、执行所述输出动作收获的奖励及执行所述输出动作后链路中节点之间的网络延迟

将多个所述四元组写入记忆池中；

随机从所述记忆池中选取数据，作为训练数据，并利用所述训练数据对用于拟合动作状态价值函数的深度Q网络的参数进行更新，所述动作状态价值函数的输入为链路中节点之间的网络延迟，所述动作状态价值函数的输出为所述节点作为每个下一跳节点的动作价值。