[发明专利]基于强化学习的SDN多级虚拟网络映射方法和装置

说明书

本发明公开了一种基于强化学习的SDN多级虚拟网络映射方法和装置。该方法包括：建立强化学习映射模型并训练；对于底层虚拟网络请求，获取物理网络当前的资源状态信息并输入强化学习映射模型，进行底层虚拟节点映射；然后，进行底层虚拟链路映射求解；对于上层虚拟网络请求，获取底层虚拟网络当前的资源状态信息并输入强化学习映射模型，进行上层虚拟节点映射；然后，进行上层虚拟链路映射求解；如果任一阶段出现映射失败的情形则需要对底层虚拟网络进行动态调整，直到所有节点和链路都被映射成功。该装置包括强化学习模块、底层映射模块、上层映射模块和动态调整模块。该方法和装置适用于多级虚拟网络映射，提高了整体的请求接受率。

技术领域

本发明涉及计算机网络技术领域，特别涉及基于强化学习的SDN多级虚拟网络映射方法和装置。

背景技术

随着云计算、物联网、5G的迅猛发展，传统的IP架构网络越来越难以部署新的网络技术和网络协议，无法满足新业务的发展需求。软件定义网络(Software DefinedNetwork,SDN)和网络虚拟化(Network Virtualization,NV)技术的结合，被认为是克服当前网络僵化问题和促进未来网络创新的有效途径。SDN是一种集中控制的新型网络架构，其核心技术OpenFlow通过将网络设备的控制面与数据面分离开来，并将控制平面逻辑集中，从而实现了网络流量的灵活控制，使网络控制平面对网络数据平面有了一个更加宏观全面的视野，克服了传统分布式网络的不足。网络虚拟化则将虚拟化思想引入网络，允许在同一个物理网络环境中构建和运行多个虚拟网络。在网络虚拟化环境中，传统的因特网络服务提供商(Internet Service Provider,ISP)被划分为负责管理、维护基础设施的基础设施提供商(Infrastructure Provider,InP)和负责从InP处租赁资源构建网络并定制架构与协议的服务提供商(Service Provider,SP)，最终由SP向终端用户提供个性化的网络服务。实现网络虚拟化的核心在于将基于软件的虚拟网络与基于硬件的物理网络进行解耦合，所以在SDN架构的网络中更容易实现网络虚拟化。

网络虚拟化面临的一个关键问题是底层网络应该如何为多个带有拓扑和资源约束条件的虚拟网络请求分配资源，这个问题被称为虚拟网络映射问题(Virtual NetworkEmbedding，VNE)。VNE问题包括虚拟节点的映射和虚拟链路的映射，通常一个虚拟网络请求中的每个虚拟节点会被映射到不同的物理节点上，每条虚拟链路会被映射到由一条或多条物理链路构成的物理路径上。目前有许多研究者提出了相应的VNE算法，其中一种求解方式为精确式求解。然而该种求解方式只考虑了虚拟网络到物理网络的单级映射场景，无法直接适用于多级虚拟网络映射场景。主要原因在于：

基于精确式求解的虚拟网络映射算法需要建立数学规划模型，而多级虚拟网络映射场景更为复杂，如果每一级映射都通过建立数学规划模型求解将会是一个非常耗时的操作。而在多级虚拟网络映射问题中，除了存在虚拟网络到物理网络的映射，还存在上层虚拟网络到底层虚拟网络的映射，所以底层网络的多样性要求虚拟网络映射算法拥有更高的灵活性。但是如果直接使用精确式求解的虚拟网络映射算法依次求解各个层级的映射，那么当上层虚拟网络请求的资源无法被满足时将会被直接拒绝，这将大大降低算法的灵活性以及请求接受率。

发明内容

本发明的目的是提出基于强化学习的SDN多级虚拟网络映射方法和装置，以解决上述技术问题。

为实现上述目的，本发明提供了如下方案：

本发明实施例的第一个方面，提供了基于强化学习的SDN多级虚拟网络映射方法，包括如下步骤：

建立强化学习映射模型并进行训练；

对于当前底层虚拟网络请求，获取物理网络当前的资源状态信息并输入所述强化学习映射模型，进行底层节点映射策略求解，完成底层虚拟节点映射；进行底层虚拟链路映射求解，完成底层虚拟链路映射；