[发明专利]一种基于多智能体深度强化学习的虚拟光网络映射方法

说明书

本发明提出了一种基于多智能体深度强化学习的虚拟光网络映射方法，其步骤为：判断环境模块中是否有其他虚拟网业务离去；对虚拟网请求业务的当前物理网的节点与链路信息进行提取；节点智能体模块利用节点策略网络得到物理网每个节点为当前虚拟网请求业务提供映射的概率分布，选取合适的节点作为当前虚拟网请求业务要映射到的节点；链路智能体模块通过链路策略网计算源节点与目的节点间的最短路径的频槽概率选择分布；评判模块从环境模块中获得即时奖励计算多步映射的累加奖励；评价模块计算节点动作和链路动作的评价值，根据评价值对智能体模块的参数进行更新。本发明可有效提高节点与链路的资源利用率，降低网络的阻塞率，提高虚拟网映射成功率。

技术领域

本发明涉及通信领域与强化学习的技术领域，尤其涉及一种基于多智能体深度强化学习的虚拟光网络映射方法，当弹性光网络作为底层物理网通信设施时，使用多智能体深度强化学习训练学习历史数据，使虚拟网业务自主高效的映射到底层物理网中。

背景技术

物联网在各个领域蓬勃发展，万物互联的时代渐行渐近。但是随着5G、虚拟现实、自动驾驶的发展，物联网设备的迅速增加，面对网络数据中心爆炸性的增长，传统互联网在数据安全、可扩展性、网络管控能力以及服务质量保证等方面的不足正为其带来越来越多的挑战。

网络虚拟化利用虚拟化技术将网络进行逻辑抽象，从而在共享的底层物理网络基础设施上同时创建和运行多个不同的虚拟网络。虚拟网络映射问题是网络虚拟化技术研究中的核心问题之一，它的主要研究目标是在满足节点和链路约束条件的基础上，将虚拟网络请求映射到基础网络设施上，利用已有的物理网络资源获得尽可能多的业务收益。

弹性光网络(EON)是一种很有前途的、用于物理网通信的网络基础设施，将底层物理网络中的资源抽象出来，能对虚拟网请求业务提供高效映射。

常用的多智能体强化学习DRL模型为：

环境：针对当前虚拟网映射的环境为部分可观测环境(Partially ObservableEnvironment)，这种情况即智能体(Agent)不能完整的获取环境信息状态，所以此时智能体状态(Agent State)≠环境状态(Environment State)。而此时的环境状态称为部分可观测(MDP)，所以此时智能体(Agent)必须自己对环境进行解读探索。

状态：当前状态为智能体状态(Agent State)，是智能体(Agent)用来选择下一个行动的信息源和算法进行所需要的那些信息，智能体(Agent)面对环境状态(EnvironmentState)的解读与翻译，所以它可能不完整，但由这些信息来做决定。

动作：智能体(Agent)根据策略决定对每一个状态执行动作。

奖励(Reward)：智能体(Agent)执行的每一步动作后，由环境给出对动作执行的评价。

多智能体强化学习DRL模型以降低虚拟网业务映射阻塞率为优化目标，公式为：BP＝1-(B_N∪B_L)，其中，BP为总阻塞率，B_N为节点配置的阻塞率，B_L为链路阻塞率。节点或链路阻塞则当前网络功能配置失败。

先前的研究从多个方面研究了如何将虚拟网请求映射到底层光网络上。但是，这些研究仅应用固定映射策略，而不管时变网络状态如何，或仅依赖简单的经验策略，并且它们无法实现真正的灵活、高效映射。同时，深度强化学习(DRL)已证明其在解决大规模任务中的有效性。

发明内容

针对传统的弹性光网络虚拟网映射方法网络利用率低，阻塞率高的技术问题，本发明提出一种基于多智能体深度强化学习的虚拟光网络映射方法，采用多智能体强化学习框架，通过节点智能体和链路智能体间在底层网络环境中交互学习，获得每次映射回馈奖励值，对每次节点智能体执行的节点动作与链路智能体执行的链路动作进行评价，从而优化下一次的动作选择，完成协同合作，最终使虚拟请求达到最佳映射。