[发明专利]动态拓扑网络智能路由方法

说明书

本发明公开的一种动态拓扑网络智能路由方法，适应性好、支持复杂路由约束、效率高。本发明通过下述技术方案实现：根据动态拓扑网络的动态路由过程，将动态拓扑网络的动态路由问题建模为强化学习路由问题，通过将网络拓扑作为环境状态的一部分，并使用图神经网络近似PPO强化学习算法中的策略函数与值函数、策略函数输出所有链路的权值、网络环境基于链路权值计算约束最小权值路径，路由智能体对不同网络拓扑的泛化与网络环境的交互学习可最大化网络吞吐量的最优路由策略，计算满足复杂路由约束的最小权值路径a，实现路由智能体对复杂路由约束的处理；实现路由智能体对网络拓扑特征的自动提取和对动态变化拓扑的自动适应。

技术领域

本发明属于通信网络路由领域，涉及拓扑动态变化的无线自组网络的动态拓扑网络智能路由方法。

背景技术

现代人类社会和虚拟网络社会的方方面面都存在形式各异的网络，如基于电话、邮件的通信网络，基于媒介的社交网路，基于运输的城市交通网，基于合作的科研学术网，基于交易的金融网，信息通信网、预警探测网、导航定位网和综合信息网等。无论是民生需求、工作学习还是文化生活，网络无处不在，处处彰显着人类对网络极大的依赖。路由是为网络中的数据包选择传输路径的过程，是通信网的核心功能之一。

路由通常分为静态路由和动态路由两类。静态路由就是手工配置的路由，在没有人工干预的条件下无法根据网络变化做出相应改变，不适用于大型或易变的网络。动态路由指路由器能够根据路由器之间的交换的特定路由信息自动地建立自己的路由表，并且能够根据链路和节点的变化适时地进行自动调整，当网络中节点或节点间的链路发生故障，或存在其它可用路由时，动态路由可以自行选择最佳的可用路由并继续转发报文，适用于节点移动与链路状态变化将导致网络拓扑动态变化的动态拓扑网络(例如车联网、无人机网络等)。然而，传统的动态路由技术，通常基于固定的路由策略，并不能很好地适应网络的动态变化。例如，DSDV路由协议，以路由跳数为链路权值，计算最短路径，无法适应拓扑变化引起的瓶颈链路变化，从而导致网络拥塞。

近年来，随着计算能力的增长，人工智能技术得到了飞速发展。其中，最有代表性的技术之一是深度学习，已在图像处理领域得到成功应用。深度学习具有自动提取特征的能力，可自动地从高维数据中提取低维的特征，用于解决“维数灾难”问题。现代的深度学习方法通常遵循“端到端”的设计哲学，强调最小化先验表示与计算假设，并避免显式的结构与手工特征。传统以神经网络为代表的深度学习，主要用于处理图像等规则的栅格状数据，难以提取有结构数据特征。图神经网络作为近年深度学习领域的热门技术，主要用于对有结构数据的学习，可用于自动提取图数据特征。

强化学习是另一种最有代表性的人工智能技术，主要用于求解智能决策问题。强化学习是一个迭代学习的过程，在每轮迭代中，智能体在奖励函数指导下探索环境状态与智能体动态空间。环境状态空间用状态集合S表示，智能体的动作空间用动作集合A表示，则智能体与环境的交互过程为：给定环境的某个状态s，智能体将执行某个动作a，环境将从状态s迁移到新状态，同时智能体从环境获得奖励r。强化学习的目标是学习最大化长期累积回报的最优策略。强化学习算法大体上可分为3类，即值函数方法、策略搜索方法和混合类型的AC(Actor-Critic)算法。值函数方法主要用于求解离散动作空间的强化学习问题，对于连续的动作空间，通常采用策略搜索或AC算法。AC算法是值函数方法与策略搜索方法的结合，其中actor与critic分别对应策略函数与值函数，策略函数实现环境状态到智能体动作的映射，值函数实现对智能体的当前动作的评估，策略函数从值函数获取反馈进行学习。强化学习的本质在于智能体和环境的不断交互，这一交互过程常被建模为马尔可夫决策过程。其中，智能体循环不断地观测状态，选择动作并从环境反馈中获得奖励，在试错过程中学习最大化累积奖励的行动策略。当状态空间与动作空间的增大后，传统的强化学习面临严重的“维度灾难”，无法处理具有很大状态空间和动作空间的问题。