[发明专利]基于深度强化学习的服务链并行部署方法及装置

说明书

本发明公开了一种基于深度强化学习的服务链并行部署方法及装置，其中，该方法包括：对离线的服务链部署问题进行数学建模，以得到服务链部署问题的数学公式；根据数学公式为所有服务链中的共享的VNF选择放置服务器位置，其中，通过深度强化学习中的DQN来选择可共享的VNF的服务器位置，以生成多个子服务链；通过最短路径原则将多个子服务链连成完整服务链，并为没有指定放置位置的VNF选择部署服务器。该方法解决了因为串行部署而忽略服务链中的VNF、以及服务链之间的相关性而导致的分配不合理，有效地提高资源的共享率和利用率，采用深度强化学习，降低了计算的复杂度。

技术领域

本发明涉及深度学习技术领域，特别涉及一种基于深度强化学习的服务链并行部署方法及装置。

背景技术

在当今的企业和数据中心网络中，端到端的网络业务部署通常需要各种各样的网络功能，这些网络功能包含防火墙，负载均衡器和深度包检测等，业务流量需要按顺序经过一系列的网络功能，这些有序的网络功能组成了服务链(Service Function Chain，SFC)。新兴的网络功能虚拟化(Network Function Virtualization，NFV)技术通过将这些网络功能从专用硬件迁移到商品服务器上，改变了它们的实现方式，也就是软件化了专有的硬件，在NFV中又将其称为虚拟网络功能(Virtual Network Function，VNF)。NFV的发展趋势使得运营商可以更加灵活地按需部署和管理网络。而网络的部署成本对于网络运营商来说至关重要。NFV的架构就有助于网络运营商降低资本支出(CAPEX，Capital Expenditure)和运营支出(OPEX，Operating Expense)。使用通用服务器替换昂贵的专有硬件，这大大降低了资本支出。此外，VNFs(多个VNF)可以自动编排，不需要经过专门培训的人员进行部署和维护，降低运营和维护成本。

服务链中的VNF运行在通用服务器上，服务链中每个VNF放置的服务器的可选择范围较广，服务链的有序性导致的VNF之间存在复杂的依赖性，以及相邻VNF之间的物理链路有着多种映射关系，这些因素都是运营商在部署服务链时面临的挑战。网络提供商需要谨慎地为每条服务链的每个VNF选择放置的服务器，然后为相邻的VNF选择物理链路。因此，链路资源和服务器资源是部署服务链时主要需要考虑的资源。

一个网络中的链路资源和服务器资源都是有限并且相互依赖的，只要其中一个资源成为瓶颈，系统性能就会明显下降。例如，当只有少数的服务器可用时，即使链路带宽足够，处理延迟也会增加。同样地，在服务器资源足够时，带宽不足也会导致排队延迟。这两种情况都会导致系统性能低下。因此，虚拟机与带宽之间的复杂关系使得服务链部署问题变得更加棘手。

现有的技术方案都不能解决实现在满足服务等级协议(Service-LevelAgreement，SLA)的同时，使得服务链占用的资源最少问题，现在的技术方案例如，主要是针对提高VM(虚拟机，Virtual Machine)的利用率，而没有考虑所需的带宽资源。即使一些工作考虑联合分配链接和VM资源，也仅限于启发式算法的设计。更重要的是，大多数现有的研究人员认为很难将所有需求作为一个整体进行解决，因此，依次按顺序考虑为每个需求逐个设计放置方案，将其称之为串行放置。串行放置方法忽视了服务请求之间的相互关系，因为每个请求的服务链都是由几个有序的VNF组成，所有的VNF种类不多，因此大部分的服务链都可以与其他的服务链共享VNF，但是串行部署的方法不能够充分考虑这些关系，导致资源配置没有得到优化。在串行放置中，最初放置的SFC有更多的候选服务器，但是后来服务的需求有更少的选择，更早放置的请求直接影响到更晚到达的请求。即使为每个请求找到了最优的放置方案，从全局的角度来看，这仍然是一个局部优化的解决方案。

在相关技术中，在服务链部署方面已经有了很多相关的工作。SFC的部署会涉及链路资源和VM资源之间的权衡。前期的相关工作专注于优化服务器资源而忽略链路带宽资源的优化。解决问题的思路也类似，思路描述如下：

(1)将网络拓扑建模成一个无向图，节点表示服务器资源，边表示链路带宽资源。