[发明专利]基于深度强化学习的智能路由决策方法、系统及存储介质

说明书

本发明公开了基于深度强化学习的智能路由决策方法、系统及存储介质，方法包括：获取第一网络状态信息，将第一网络状态信息输入到策略神经网络，输出得到第一链路权重信息；根据第一链路权重信息进行路由决策，确定第一路由转发流表，根据第一路由转发流表进行网络流量转发，获取第二网络状态信息，计算得到第一奖励值；将第一网络状态信息和第一链路权重信息输入到价值神经网络，输出得到第一评价值；根据第一网络状态信息、第一链路权重信息、第二网络状态信息、第一评价值以及第一奖励值构建训练数据集，进而通过训练数据集对策略神经网络和价值神经网络进行参数更新。本发明提高了物联网的网络性能，可广泛应用于物联网技术领域。

技术领域

本发明涉及人工智能技术领域，尤其是一种基于深度强化学习的智能路由决策方法、系统及存储介质。

背景技术

随着物联网的快速发展，物联网规模的不断扩大，接入设备数量和种类逐渐增多，传统的物联网体系架构在异构互连、资源管理、业务处理等方面面临着极大的挑战。其中，海量数据流量传输与处理需求问题尤为突出。传统网络中路由方式有多种，最简单和广泛被使用的方法包括开放式最短路径优先协议和能将流量均匀地分到多条可用路径上的等价多路径路由。

开放式最短路径优先协议是基于迪杰斯特拉算法(Dijkstra)的一种内部网关协议。最短路径算法只考虑了源节点至目的节点之间的最短跳数，没有考虑网络流量增多的情况。当网络中接入设备数量较少时，此时网络的数据传输能力可以满足网络中的数据流量传输需求，然而在网络接入设备增多，需要对海量数据进行传输时，容易造成因链路带宽利用率过高而产生网络拥塞。此外，最短路径算法没有考虑到网络中带宽、时延等网络实时信息，在应对海量数据传输时，容易引发网络负载均衡问题，也会造成网络拥塞。

等价多路径路由是一种多路径路由的路由策略。在计算源节点到目的节点之间的路由路径时，会得出多条相同开销的路由路径，这样就可以使用多条路由路径来转发流量。等价多路径路由最大的特点是实现了路由路径在相同权值情况下多路径负载均衡和链路冗余备份。但是在实际情况下，各路径的带宽、时延等不一样，在各路径权值一样的情况下，不能很好地利用带宽，尤其在路径间带宽差异大时，效果会非常不理想。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明实施例的一个目的在于提供一种基于深度强化学习的智能路由决策方法，该方法能够实现物联网海量数据流量的负载均衡，提高了物联网的网络性能。

本发明实施例的另一个目的在于提供一种基于深度强化学习的智能路由决策系统。

为了达到上述技术目的，本发明实施例所采取的技术方案包括：

第一方面，本发明实施例提供了一种基于深度强化学习的智能路由决策方法，包括以下步骤：

获取第一网络状态信息，将所述第一网络状态信息输入到预先构建的策略神经网络，输出得到第一链路权重信息；

根据所述第一链路权重信息进行路由决策，确定第一路由转发流表，并根据所述第一路由转发流表进行网络流量转发，进而获取第二网络状态信息，并根据所述第二网络状态信息计算得到第一奖励值；

将所述第一网络状态信息和所述第一链路权重信息输入到预先构建的价值神经网络，输出得到第一评价值；

根据所述第一网络状态信息、所述第一链路权重信息、所述第二网络状态信息、所述第一评价值以及所述第一奖励值构建训练数据集，进而通过所述训练数据集对所述策略神经网络和所述价值神经网络进行参数更新。

进一步地，在本发明的一个实施例中，所述获取第一网络状态信息这一步骤，其具体为：