[发明专利]基于分层强化学习的虚拟网络功能迁移方法及装置

权利要求书

1.一种基于分层强化学习的虚拟网络功能迁移方法，包括：

获取与待迁移虚拟网络功能相关的物理资源信息和需求资源信息，其中，所述物理资源信息包括物理节点信息以及与所述物理节点信息相关的可用资源信息；

将所述物理资源信息和所述需求资源信息输入与所述待迁移虚拟网络功能相关的至少一个第一智能体集，得到至少一个候选节点信息集，其中，所述第一智能体集包括多个第一智能体，所述第一智能体包括经训练的第一神经网络模型，所述候选节点信息集包括多个候选物理节点信息，所述第一智能体与所述候选物理节点信息一一对应，所述第一智能体集与所述候选节点信息集一一对应；

将所述需求资源信息、所述可用资源信息和所述至少一个候选节点信息集输入经训练的第二智能体，得到第一目标节点信息集，所述第二智能体包括经训练的第二神经网络模型，所述第一目标节点信息集包括多个目标物理节点信息；以及

根据所述多个目标物理节点信息，将所述待迁移虚拟网络功能迁移至与所述目标物理节点信息相对应的目标物理节点。

2.根据权利要求1所述的方法，其特征在于，还包括：

针对每个所述第一智能体，记录在将所述待迁移虚拟网络功能迁移至基于所述第一智能体选择的候选物理节点的情况下所产生的物理开销的开销信息，其中，基于不同的第一智能体所对应生成的物理开销的开销类别不同；

根据所述开销信息，确定与所述第一智能体相关的反馈值。

3.根据权利要求1所述的方法，其特征在于，还包括：

记录在将所述待迁移虚拟网络功能迁移至基于所述第二智能体选择的目标物理节点的情况下所产生的物理开销的总开销信息；

根据所述总开销信息，确定与所述第二智能体相关的反馈值。

4.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型通过如下方法训练得到：

获取第一时刻的第一目标物理资源信息、第一目标需求资源信息、基于所述第一智能体在所述第一时刻选择的第一目标候选物理节点信息以及与所述第一智能体相对应的第一目标反馈值；

获取第二时刻的第二目标物理资源信息、第二目标需求资源信息以及基于所述第一智能体在所述第二时刻选择的第二目标候选物理节点信息；以及

根据所述第一目标物理资源信息、所述第一目标需求资源信息、所述第一目标候选物理节点信息、所述第一目标反馈值，以及所述第二目标物理资源信息、所述第二目标需求资源信息、所述第二目标候选物理节点信息，对所述第一神经网络模型进行训练。

5.根据权利要求4所述的方法，其特征在于，根据所述第一目标物理资源信息、所述第一目标需求资源信息、所述第一目标候选物理节点信息、所述第一目标反馈值，以及所述第二目标物理资源信息、所述第二目标需求资源信息、所述第二目标候选物理节点信息，对所述第一神经网络模型进行训练包括：

根据所述第一目标物理资源信息、所述第一目标需求资源信息和所述第一目标候选物理节点信息，确定与所述第一神经网络相关的第一Q值；

根据所述第二目标物理资源信息、所述第二目标需求资源信息和所述第二目标候选物理节点信息，确定与所述第一神经网络相关的第二Q值；

根据所述第一Q值、所述第二Q值和所述第一目标反馈值构建第一损失函数，调整所述第一神经网络的参数。

6.根据权利要求1或4或5所述的方法，其特征在于，所述第二神经网络模型通过如下方法训练得到：

获取第一时刻的第一目标物理资源信息、第一目标需求资源信息、基于所述第二智能体在所述第一时刻选择的第二目标节点信息集以及与所述第二智能体相对应的第二目标反馈值；

获取第二时刻的第二目标物理资源信息、第二目标需求资源信息以及基于所述第二智能体在所述第二时刻选择的第三目标节点信息集；

根据所述第一目标物理资源信息、所述第一目标需求资源信息、所述第二目标节点信息集、所述第二目标反馈值，以及所述第二目标物理资源信息、所述第二目标需求资源信息、所述第三目标节点信息集，对所述第二神经网络模型进行训练。