[发明专利]动态拓扑网络智能路由方法

权利要求书

1.一种动态拓扑网络智能路由方法，具有如下技术特征：

根据动态拓扑网络的动态路由过程，将网络环境状态s定义为当前网络拓扑、链路的可用带宽、当前业务的源节点、当前业务的目的节点和当前业务的带宽，将路由智能体的动作a定义为业务的路径，将环境反馈的奖励定义为算路成功的业务带宽，并将动态拓扑网络的动态路由问题建模为路由智能体通过与网络环境交互学习可最大化网络吞吐量的网络环境状态s到路由智能体动作a的映射的深度强化学习路由问题；

上述路由智能体实现从网络环境状态s到智能动作a的映射，包含路由策略映射与约束算路两个过程：路由策略映射过程以网络环境状态s为输入，以定义为网络拓扑中所有链路权值的路由策略w为输出，实现网络环境状态s到路由策略w的映射；约束算路过程以网络环境状态s和路由策略w为输入，以业务路径，即智能体的动作a为输出，使用约束最短路算法为网络环境状态s中的当前业务，计算满足复杂路由约束的最小权值路径a，实现路由智能体对复杂路由约束的处理；

上述路由智能体使用近端策略优化算法PPO(Proximal Policy Optimization，简称PPO)学习上述路由策略映射过程网络环境状态s到路由策略w的映射关系，并使用图神经网络近似PPO算法的策略函数和值函数，实现路由智能体对网络拓扑特征的自动提取和对动态变化拓扑的自动适应。

2.如权利要求1所述的动态拓扑网络智能路由方法，其特征在于：图神经网络由输入图网络块GN_inp、核心图网络块GN_core和输出图网络块G_out串联而成的图网络，其中，图网络块是图网络的基本构建单元，图网络块以图作为输入和输出，实现对输入图的节点、边和全局属性的变换。

3.如权利要求2所述的动态拓扑网络智能路由方法，其特征在于：输入图G_inp作为输入图网络块GN_inp的输入，经GN_inp处理后输出图G₀，G₀作为核心图网络块GN_core的输入，经GN_core处理M次后输出图G_M，G_M作为输出图网络块G_out的输入，经G_out处理后，输出图G_out。

4.如权利要求1所述的动态拓扑网络智能路由方法，其特征在于：图网络块包含边更新函数Φ_e、节点更新函数Φ_v和全局属性更新函数Φ_u3个更新函数，邻边属性聚合函数ρ^e→v、点属性聚合函数ρ^e→u和边属性聚合函数ρ^v→u3个聚合函数，其中，φ^e,φ^v,φ^u3个更新函数分别实现对边属性、节点属性和全局属性的更新，ρ^e→v,ρ^e→u,ρ^v→u3个聚合函数分别实现对节点的所有邻边属性的聚合、图中所有边属性的聚合和图中所有节点属性的聚合。

5.如权利要求4所述的动态拓扑网络智能路由方法，其特征在于：图网络块的计算过程为：首先使用边属性更新函数φ^e对图中的每条边的属性进行更新，然后，使用邻边属性聚合函数ρ^e→v对节点的邻边属性进行聚合，再使用节点更新函数φ^v对图中的每个节点进行更新；最后，使用节点属性聚合函数ρ^e→u和边属性聚合函数ρ^v→u对图中的所有节点属性和图中所有边属性分别进行聚合后，使用全局属性更新函数φ^u更新全局属性。

6.如权利要求1所述的动态拓扑网络智能路由方法，其特征在于：图网络由1个或多个图网络块组合而成，每个图网络块相当于传统神经网络中的层，对应传统的多层感知机多个图网络块以序列方式组合，或对应传统的递归神经网络以递归的方式组合。