[发明专利]一种基于深度强化学习的服务功能链可靠性部署方法

说明书

本发明公开了一种基于深度强化学习的服务功能链可靠性部署方法，属于通信技术和机器学习领域。本方法通过分别解决服务功能链的优先级感知和可靠性部署两个问题，可以实现容错性的服务功能链部署，并且利用深度强化学习的优势，以适应复杂动态的服务功能链部署请求。本方法通过动态感知服务功能链的优先级，以此选择服务功能链上虚拟网络功能的备份方案，并利用深度强化学习同时确定服务功能链中虚拟网络功能的部署节点及备份节点，实现对服务功能链进行可靠性部署。本发明考虑了服务功能链的可靠性，提升了网络资源的有效利用率同时考虑了传输时延与节点、链路负载均衡性，适用于动态复杂的服务功能链部署请求场景。

技术领域

本发明属于通信技术和机器学习领域，涉及一种基于深度强化学习的服务功能链可靠性部署方法。

背景技术

随着5G时代的到来，网络服务请求的数量及多样性急剧增长，为服务功能链的可靠性部署带来了巨大的挑战。在如今的运营商网络中，大量的网络功能，如防火墙、NAT、DPI等都分布部署在不同的服务器节点上，并通过一定的顺序对网络功能进行组合，这种功能序列就叫做服务功能链(Service Function Chain,SFC)。

传统的服务功能链部署方式依赖服务运营商制定的路由策略，使业务流量以一定顺序经过若干虚拟网络功能，以提供所需的网络服务。这种方式存在一定缺陷：缺乏一定的容错措施，难以满足服务功能链的可靠性部署需求；不同服务功能链的资源需求量不同，导致优先级存在差异，单一策略难以满足所有部署需求；虚拟网络功能预先部署在服务器节点上，难以应对动态复杂的服务功能链部署需求，等等。随着软件定义网络(SoftwareDefined Network,SDN)和网络功能虚拟化(Network Function Virtualization,NFV)技术的快速发展，基于SDN/NFV融合架构的服务功能链得到了大量的关注。SDN/NFV网络联合架构以SDN控制器为网络的控制平面，以NFV为新型的通用化基础设施为数据平面，结合了控制与转发分离、集中控制、网络资源抽象、网络可编程性等优势，可以摆脱根深蒂固的厂商锁定，并灵活快速地按需提供弹性网络，以便更好地应对多样化的应用场景和差异化的服务质量需求。

针对服务功能链的动态可靠性部署问题，现有的部署方法都存在某些方面的不足。例如，中国发明专利“CN109586982B”，提出了一种虚拟网络功能备份方法，通过确定已部署的服务功能链中各功能节点的评估值，以此确定各功能节点的备份需求。但是该方法对于动态到达的服务功能链部署请求难以进行实时功能节点备份，且未对服务功能链进行优先级划分，容易造成网络资源浪费。中国发明专利“CN110460465A”，提出了一种面向移动边缘计算的服务功能链部署方法，采用强化学习中的Q-learning算法进行部署。但该方法需要维护一个庞大的Q值表，将会浪费大量的CPU性能，且无法对样本中未知的情况做出准确判断。中国发明专利“CN111669291A”，提出了一种基于深度强化学习的虚拟化网络服务功能链部署方法，通过分别解决虚拟功能放置和流量路由两个问题，实现最小成本代价的服务功能链部署。但该方法并未考虑功能节点可能存在的失效情况，难以保证服务功能链的容错性及可靠性部署。

因此，针对动态复杂的服务功能链的可靠性部署问题仍然缺乏有效的解决方法。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于深度强化学习的服务功能链可靠性部署方法，解决了网络功能虚拟化背景下，针对动态复杂的服务功能链的可靠性部署问题。

为了达到上述目的，本发明采用以下技术方案予以实现：

本发明公开了一种基于深度强化学习的服务功能链可靠性部署方法，包括以下步骤：

1)处理服务功能链部署请求；

2)针对服务功能链进行优先级划分，根据服务功能链的优先级，选择相应服务功能链中虚拟网络功能的备份方案；