[发明专利]一种服务功能链迁移方法、装置、电子设备及存储介质

说明书

本发明提供一种服务功能链迁移方法、装置、电子设备及存储介质。所述方法包括：基于可满足性模理论对服务功能链动作空间进行形式化，确定满足所述可满足性模理论约束条件的动作空间；将所述可满足性模理论约束条件的动作空间输入至深度强化学习模型中，得到所述服务功能链的最佳迁移策略。本发明首先通过对服务功能链动作空间进行形式化，去除了部分非法行动，其次基于深度强化学习对攻击事件进行学习来选择最优的服务功能链迁移策略，进一步缩减了服务功能链动作空间，减少了网络开销。

技术领域

本发明涉及网络功能虚拟化领域，尤其涉及一种服务功能链迁移方法、装置、电子设备及存储介质。

背景技术

网络功能虚拟化NFV（Network Functions Virtualization）一种对于网络架构的概念，利用虚拟化技术，将网络节点阶层的功能，分割成几个功能区块，分别以软件方式实现，不再拘限于硬件架构。在NFV中，实体为虚拟网络功能实例VNF（VirtualNetworkFunction），服务功能链SFC（Service Function Chain）由一连串连接的VNF实例连接构成。

当一个物理节点由于故障或被攻击时，将影响所有托管的VNF变得不可用，然而现有技术除了向VNF提供一次性资源分配外并没有提供一种积极的防御方法，以避免侧信道和/或分布式拒绝服务DdoS（Distributed denial of service attack）攻击。因此，攻击者可以嗅探网络信息，并计划对正在提供服务的SFC进行毁灭性的攻击。

发明内容

为解决上述问题，本发明提供一种服务功能链迁移方法、装置、电子设备及存储介质，包括：

基于可满足性模理论对服务功能链动作空间进行形式化，确定满足所述可满足性模理论约束条件的动作空间；

将所述可满足性模理论约束条件的动作空间输入至深度强化学习模型中，得到所述服务功能链的最佳迁移策略；

其中，所述深度强化学习模型的训练过程如下：

步骤1，针对当前时隙服务功能链的动作空间和迁移周期，根据当前深度神经网络参数决策出迁移动作，并计算得到当前状态的即时奖励和下一时隙服务功能链的动作空间；

步骤2，将当前时隙服务功能链的动作空间、迁移动作、即时奖励和下一时隙服务功能链的动作空间存储至重放缓存区；

步骤3，随机从重放缓存区中抽取数据输入至深度神经网络中进行训练，更新深度神经网络参数，修正做出的迁移动作；

步骤4，当计算得到的即时奖励完成收敛时，得到所述服务功能链的最佳迁移策略，结束模型训练。

可选的，基于可满足性模理论对服务功能链动作空间进行形式化，确定满足所述可满足性模理论约束条件的动作空间，包括：

确定所述服务功能链动作空间，所述动作空间为虚拟功能实例在所述服务功能链底层路由上放置的第一总数；

基于可满足性模理论约束条件，计算虚拟功能实例在所述服务功能链路由上放置的第二总数，所述第二总数为满足所述可满足性模理论约束条件的动作空间。

可选的，所述可满足性模理论约束条件包括嵌入关系的可满足性模理论约束、中间件装置的可满足性模理论约束、服务质量的可满足性模理论约束、带宽的可满足性模理论约束、虚拟功能实例放置数量的可满足性模理论约束、预设引流顺序的可满足性模理论约束和负载满足的可满足性模理论约束中的一种或多种。

可选的，在基于可满足性模理论对服务功能链动作空间进行形式化，确定满足所述可满足性模理论约束条件的动作空间前，还包括：

建立基于服务功能链部署的网络模型；

将所述基于服务功能链部署的网络模型转化为具有连续状态空间和动作空间的马尔科夫决策过程。