[发明专利]一种基于深度强化学习的动态虚拟网络功能编排方法

说明书

本发明涉及一种基于深度强化学习的动态虚拟网络功能编排方法，属于无线通信领域。该方法包括：针对物理网络拓扑动态变化引起的VNF编排成本高的问题，建立时延约束下的最小化VNF编排的资源成本和运行成本的数学模型；根据网络拓扑动态变化和VNF动态变化，建立MDP模型，且通过深度Q网络来求解MDP；针对MDP模型中状态空间和动作空间过大和网络负载动态变化的问题，设计动态最优的VNF编排策略以解决VNF编排成本高的问题。本发明在保证用户时延性能的前提下，受限于网络中计算资源容量和链路带宽资源容量，动态的调整各网络切片VNF的编排策略，保证了用户性能，优化VNF编排成本，提高资源利用率。

技术领域

本发明属于无线通信领域，涉及一种基于深度强化学习的动态虚拟网络功能编排方法。

背景技术

对于网络服务提供商来说，以一种经济、绿色高效的方式为用户提供服务是一个常见的痛点，因为在硬件级别部署服务时需要较多的时间、成本并且会消耗更多的资源。对定制硬件的依赖严重阻碍了现代通信产业的发展，现代网络产业高度要求轻量级服务提供方法，以促进网络创新和推动长期支出削减，而网络功能虚拟化(Network FunctionVirtualization,NFV)技术的出现将成为解决上述问题的关键。网络功能虚拟化是指将网络功能(如防火墙、路由器等)从硬件中剥离出来，并将其“软件化”到通用服务器上，作为云计算基础设施中按需的虚拟网络功能(Virtual Network Function,VNF)。NFV支持以更可伸缩和更灵活的方式分配网络资源，为网络功能提供更有效和灵活的管理和运行机制，从而可以显著降低网络服务提供商的资本支出和运营成本。尽管可以利用VNF技术灵活的分配资源，但是VNF的编排却存在挑战。

尽管已经有学者对VNF的编排展开研究，但解决VNF资源分配问题的最流行方法之一是基于阈值的资源分配策略，如果网络条件达到某些预定义的阈值，则可以添加或删除资源，尽管这为动态资源分配提供了一种简单且可扩展的解决方案，但是基于阈值的标准往往会过度配置和未充分利用网络设备，从而对基础设施提供商带来高昂的成本。另外，现有的大多数优化方法是启发式的，然而，实际网络已经变得更加复杂且动态变化，此外，这些启发式的解决方法严重依赖先验知识，并且通常以离线的方式进行设计，牺牲了网络功能虚拟化和软件定义网络(Software Defined Network,SDN)的灵活性。并且，一些研究还忽略到端到端时延，尤其是处理时延，但这是服务等级协议(Service Level Agreement,SLA)中最重要的指标之一。

发明内容

有鉴于此，本发明的目的在于提供一种基于深度强化学习的动态虚拟网络功能编排方法，根据物理网络拓扑动态变化，在保证用户时延性能的前提下，受限于网络中计算资源容量和链路带宽资源容量，动态的调整各网络切片VNF的编排策略，保证用户性能，优化VNF编排成本，提高资源利用率。

为达到上述目的，本发明提供如下技术方案：

一种基于深度强化学习的动态虚拟网络功能编排方法，具体包括以下步骤：

S1：针对物理网络拓扑动态变化引起的虚拟网络功能(Virtual NetworkFunctional,VNF)编排成本高的问题，建立时延约束下的最小化VNF编排的资源成本和运行成本的数学模型；

S2：根据网络拓扑动态变化和VNF动态变化，建立MDP模型；

S3：针对MDP模型中状态空间和动作空间过大和网络负载动态变化的问题，设计动态最优的VNF编排策略以解决VNF编排成本高的问题。

进一步，步骤S1中，动态VNF编排的网络模型为：物理基础设施网络用无向图G＝(N,L)表示，其中N和L分别代表整个基础设施网络的物理节点集合和链路集合；C_n表示为物理节点n的计算容量，B_l为链路l的带宽容量，l.head和l.tail代表连接链路l的两个相邻物理节点；