[发明专利]一种路由选择方法、装置、电子设备及存储介质在审
申请号: | 202110764128.5 | 申请日: | 2021-07-06 |
公开(公告)号: | CN113489654A | 公开(公告)日: | 2021-10-08 |
发明(设计)人: | 谢可;郭文静;杨成;张楠 | 申请(专利权)人: | 国网信息通信产业集团有限公司 |
主分类号: | H04L12/803 | 分类号: | H04L12/803;H04L12/751;H04L12/26;H04L12/24;G06N3/08 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 张影 |
地址: | 102200 北京市昌平区未*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 路由 选择 方法 装置 电子设备 存储 介质 | ||
本申请提供了一种路由选择方法、装置、电子设备及存储介质,该方法中,在训练得到图神经网络模型的基础上,将所述目标网络拓扑结构、所述目标路由方案及所述目标网络流量输入到图神经网络模型,得到所述图神经网络模型输出的所述目标路由方案中每条链路中节点之间的网络延迟,保证能针对网络拓扑的改变和网络流量的波动进行网络延迟的准确预测,在此基础上,所述目标路由方案中每条链路中节点之间的网络延迟输入到深度强化学习网络模型,得到所述深度强化学习网络模型输出的每个所述节点作为每个下一跳节点的动作价值,实现实时根据网络延迟得到路由方案,提升路由性能的稳定性。
技术领域
本申请涉及通信技术领域,特别涉及一种路由选择方法、装置、电子设备及存储介质。
背景技术
电力物联网是能源互联网数字化的基础和载体,随着电力物联网的建设对能源感知的深度广度需求不断提升,要求平台层具备亿级终端接入、千万级并发连接,而传统的网络架构已无法满足需求。为了满足上述需求,电力物联网可以应用软件定义网络(SoftwareDefined Network,SDN)技术,SDN技术能够基于网络状态信息的宏观掌控制定网络策略,从而为网络提供更加精细化的服务策略。其中,电力物联网可以使用基于SDN框架的机器学习算法,实现智能路由方案。
但是,基于机器学习算法,实现的智能路由方案的路由性能的稳定性仍有待提高。
发明内容
本申请提供如下技术方案:
一种路由选择方法,包括:
获取目标网络拓扑结构;
基于所述目标网络拓扑结构,生成目标路由方案及目标网络流量,所述目标网络流量包括所述目标网络拓扑结构中每条链路中节点之间的流量负载;
将所述目标网络拓扑结构、所述目标路由方案及所述目标网络流量输入到图神经网络模型,得到所述图神经网络模型输出的所述目标路由方案中每条链路中节点之间的网络延迟,所述图神经网络模型为利用网络拓扑结构、路由方案及网络流量及与所述路由方案中每条链路中节点之间的网络延迟训练得到的;
将所述目标路由方案中每条链路中节点之间的网络延迟输入到深度强化学习网络模型,得到所述深度强化学习网络模型输出的每个所述节点作为每个下一跳节点的动作价值,所述深度强化学习网络模型为利用基于马尔可夫决策过程获得的四元组训练得到,所述四元组包括:链路中节点之间的网络延迟、表征选择链路的输出动作、执行所述输出动作收获的奖励及执行所述输出动作后链路中节点之间的网络延迟;
基于所述深度强化学习网络模型输出的每个所述节点作为每个下一跳节点的动作价值,从多个所述节点中选择出分别作为每个所述下一跳节点的目标节点,并基于多个所述目标节点,确定待使用路由。
可选的,所述将所述目标网络拓扑结构、所述目标路由方案及所述目标网络流量输入到图神经网络模型,得到所述图神经网络模型输出的所述目标路由方案中每条链路中节点之间的网络延迟,包括:
分别将所述目标网络拓扑结构、所述目标路由方案及所述目标网络流量转换为符合预先建立的统一资源描述模型的待处理网络拓扑结构、待处理路由方案及待处理网络流量;
利用归一化公式对所述待处理网络流量包括的所述待处理网络拓扑结构中每条链路中节点之间的流量负载进行归一化处理,得到标准流量负载,所述x表示所述流量负载,所述xmin表示所述目标网络拓扑结构中多条链路中节点之间的流量负载中的最小值,所述xmax表示所述目标网络拓扑结构中多条链路中节点之间的流量负载中的最大值;
将所述待处理网络拓扑结构、所述待处理路由方案及所述标准流量负载组成的标准网络流量输入到图神经网络模型,得到所述图神经网络模型输出的所述待处理路由方案中每条链路中节点之间的网络延迟。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国网信息通信产业集团有限公司,未经国网信息通信产业集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110764128.5/2.html,转载请声明来源钻瓜专利网。