[发明专利]一种服务功能链迁移方法、装置、电子设备及存储介质

权利要求书

1.一种服务功能链迁移方法，其特征在于，包括：

基于可满足性模理论对服务功能链动作空间进行形式化，确定满足所述可满足性模理论约束条件的动作空间；

将所述可满足性模理论约束条件的动作空间输入至深度强化学习模型中，得到所述服务功能链的最佳迁移策略；

其中，所述深度强化学习模型的训练过程如下：

步骤1，针对当前时隙服务功能链的动作空间和自适应迁移周期，根据当前深度神经网络参数决策出迁移动作，并计算得到当前状态的即时奖励和下一时隙服务功能链的动作空间；

步骤2，将当前时隙服务功能链的动作空间、迁移动作、即时奖励和下一时隙服务功能链的动作空间存储至重放缓存区；

步骤3，随机从重放缓存区中抽取数据输入至深度神经网络中进行训练，更新深度神经网络参数，修正做出的迁移动作；

步骤4，当计算得到的即时奖励完成收敛时，得到所述服务功能链的最佳迁移策略，结束模型训练；

其中，基于可满足性模理论对服务功能链动作空间进行形式化，确定满足所述可满足性模理论约束条件的动作空间，包括：

确定所述服务功能链动作空间，所述动作空间为虚拟功能实例在所述服务功能链底层路由上放置的第一总数；

基于可满足性模理论约束条件，计算虚拟功能实例在所述服务功能链路由上放置的第二总数，所述第二总数为满足所述可满足性模理论约束条件的动作空间；

其中，所述可满足性模理论约束条件包括嵌入关系的可满足性模理论约束、中间件装置的可满足性模理论约束、服务质量的可满足性模理论约束、带宽的可满足性模理论约束、虚拟功能实例放置数量的可满足性模理论约束、预设引流顺序的可满足性模理论约束和负载满足的可满足性模理论约束中的一种或多种；

其中，针对当前时隙服务功能链的动作空间和自适应迁移周期，根据当前深度神经网络参数决策出迁移动作，包括：

初始化所述当前时隙服务功能链的迁移计数器；

确定所述当前时隙服务功能链的自适应迁移周期，并判断所述迁移计数器是否等于所述自适应迁移周期，若是，则根据当前深度神经网络参数决策出迁移动作；

其中，确定所述当前时隙服务功能链的自适应迁移周期，包括：

设置参数和基本服务功能链迁移周期；

计算不同数量服务功能链的网络状态的概率，并选择最小概率作为基线，通过与最小概率的比较来调整迁移周期。

2.根据权利要求1所述的服务功能链迁移方法，其特征在于，在基于可满足性模理论对服务功能链动作空间进行形式化，确定满足所述可满足性模理论约束条件的动作空间前，还包括：

建立基于服务功能链部署的网络模型；

将所述基于服务功能链部署的网络模型转化为具有连续状态空间和动作空间的马尔科夫决策过程。

3.根据权利要求1所述的服务功能链迁移方法，其特征在于，计算得到当前状态的即时奖励和下一时隙服务功能链的动作空间，包括：

根据下面第一公式计算当前状态的即时奖励，以及根据第二公式计算下一时隙服务功能链的动作空间，所述第一公式为：

所述第二公式为：

其中，为时间差分误差，时隙t的状态动作值，α为0和1之间的学习率，为从状态移动到状态时得到的奖励值，为折扣系数，为在动作空间上的期望最大奖励，为时隙的网络状态，为动作，为时隙的网络状态，为时隙t采取的动作。

4.根据权利要求1所述的服务功能链迁移方法，其特征在于，随机从重放缓存区中抽取数据输入至深度神经网络中进行训练，更新深度神经网络参数，修正做出的迁移动作，包括：

根据下面第三公式计算所述深度神经网络的策略梯度，以及根据第四公式计算所述深度神经网络的价值函数梯度；

根据所述策略梯度和所述价值函数梯度，更新所述深度神经网络参数，修正作出的迁移动作；

其中，所述第三公式为：

所述第四公式为：

其中，为策略函数，T为总时隙，为新旧策略下的概率之比，为在时隙t的估计优势，为控制修剪范围超参数，为评价函数，为策略梯度网络输出值，为时间差分误差目标值，为时隙i的网络状态，为价值函数权重。