[发明专利]基于分层强化学习的虚拟网络功能迁移方法及装置

说明书

本发明提供了一种基于分层强化学习的虚拟网络功能迁移方法及装置。其中，该方法包括：获取与待迁移虚拟网络功能相关的物理资源信息和需求资源信息，其中，物理资源信息包括物理节点信息以及与物理节点相关的可用资源信息；将物理资源信息和需求资源信息输入与待迁移虚拟网络功能相关的至少一个第一智能体集，得到至少一个候选节点信息集；将需求资源信息、可用资源信息和至少一个候选节点信息集输入经训练的第二智能体，得到第一目标节点信息集，第二智能体包括经训练的第二神经网络模型，第一目标节点信息集包括多个目标物理节点信息；以及根据多个目标物理节点信息，将待迁移虚拟网络功能迁移至与目标物理节点信息相对应的目标物理节点。

技术领域

本发明涉及计算机、通信技术领域，更具体地，涉及一种基于分层强化学习的虚拟网络功能迁移方法及装置。

背景技术

在目前的网络切片场景下，运用SDN（Software Defined Networks，软件定义网络）、NFV（NetworkFunctionVirtualization，网络功能虚拟化）技术可以将网络功能虚拟化并部署在物理资源上。在网络流量动态变化的情况下，需要进行VNF（Virtual NetworkFunction，虚拟网络功能）迁移以缓解系统资源分配不均匀的问题。由于VNF迁移问题的复杂度高，在实际系统中应用由花费大量时间进行数学计算得出的最优解是不现实的。

采用启发式算法或机器学习算法可以获得逼近最优解的次优解。机器学习算法相较于启发式算法具有运行复杂度较小，模型适用性强等优势。基于深度强化学习的VNF迁移方法多采用DQN（Deep Q-Network，深度Q网络）训练并输出迁移策略。然而使用常规的深度强化学习需要对网络进行大量训练后才能用于决定迁移策略，且给出的策略是否逼近最优解在很大程度上取决于训练时间的长短。

发明内容

有鉴于此，本发明提供了一种基于分层强化学习的虚拟网络功能迁移方法及装置。

本发明的一个方面提供了一种基于分层强化学习的虚拟网络功能迁移方法，包括：获取与待迁移虚拟网络功能相关的物理资源信息和需求资源信息，其中，所述物理资源信息包括物理节点信息以及与所述物理节点信息相关的可用资源信息；将所述物理资源信息和所述需求资源信息输入与所述待迁移虚拟网络功能相关的至少一个第一智能体集，得到至少一个候选节点信息集，其中，所述第一智能体集包括多个第一智能体，所述第一智能体包括经训练的第一神经网络模型，所述候选节点信息集包括多个候选物理节点信息，所述第一智能体与所述候选物理节点信息一一对应，所述第一智能体集与所述候选节点信息集一一对应；将所述需求资源信息、所述可用资源信息和所述至少一个候选节点信息集输入经训练的第二智能体，得到第一目标节点信息集，所述第二智能体包括经训练的第二神经网络模型，所述第一目标节点信息集包括多个目标物理节点信息；以及根据所述多个目标物理节点信息，将所述待迁移虚拟网络功能迁移至与所述目标物理节点信息相对应的目标物理节点。

本发明的另一个方面提供了一种基于分层强化学习的虚拟网络功能迁移装置，包括：第一获取模块，用于获取与待迁移虚拟网络功能相关的物理资源信息和需求资源信息，其中，所述物理资源信息包括物理节点信息以及与所述物理节点信息相关的可用资源信息；第一获得模块，用于将所述物理资源信息和所述需求资源信息输入与所述待迁移虚拟网络功能相关的至少一个第一智能体集，得到至少一个候选节点信息集，其中，所述第一智能体集包括多个第一智能体，所述第一智能体包括经训练的第一神经网络模型，所述候选节点信息集包括多个候选物理节点信息，所述第一智能体与所述候选物理节点信息一一对应，所述第一智能体集与所述候选节点信息集一一对应；第二获得模块，用于将所述需求资源信息、所述可用资源信息和所述至少一个候选节点信息集输入经训练的第二智能体，得到第一目标节点信息集，所述第二智能体包括经训练的第二神经网络模型，所述第一目标节点信息集包括多个目标物理节点信息；以及迁移模块，用于根据所述多个目标物理节点信息，将所述待迁移虚拟网络功能迁移至与所述目标物理节点信息相对应的目标物理节点。