[发明专利]一种基于深度强化学习的服务功能链可靠性部署方法

权利要求书

1.一种基于深度强化学习的服务功能链可靠性部署方法，其特征在于，包括以下步骤：

1)处理服务功能链部署请求；

2)针对服务功能链进行优先级划分，根据服务功能链的优先级，选择相应服务功能链中虚拟网络功能的备份方案；

3)应用深度强化学习，确定服务功能链中虚拟网络功能的部署节点及备份节点，实现对服务功能链进行可靠性部署；

步骤3)中，应用深度强化学习对服务功能链中的虚拟网络功能进行部署，具体包括以下步骤：

i)设定深度强化学习参数，包括状态集、动作集和反馈函数；

其中，状态集为S(t)＝(C_r，B_r，F_info)；

式中，C_r代表各节点剩余CPU资源量，B_r代表各链路剩余带宽资源量，F_info代表上一虚拟网络功能的类型及部署位置；

动作集为A(t)＝(V_d，V_b)；

式中，V_d代表虚拟网络功能的部署节点位置，V_b代表虚拟网络功能的备份节点位置；

反馈函数为

式中，L代表相邻虚拟网络功能间的最大传输时延，C代表所有节点最大CPU资源占用量，B代表所有链路最大带宽资源占用量，α、β、γ为权重；

ii)初始化神经网络与经验回放集合D；

iii)选择负载最小的节点对服务功能链中第一个虚拟网络功能进行部署或备份，得到当前C_r、B_r及F_info信息并设定初始状态S(t)；

iv)根据ε-贪婪方法对当前状态S(t)选择部署及备份节点对(V_d，V_b)，执行动作后得到更新后的C_r、B_r及F_info信息并转到下一状态S(t+1)；

v)根据反馈函数R(t)计算当前反馈值R，并将四元组(S(t)，(V_d，V_b)，S(t+1)，R)存入经验回放集合D，并置S(t)为S(t+1)；

vi)根据D中样本通过梯度反向传播更新神经网络参数。

2.根据权利要求1所述的一种基于深度强化学习的服务功能链可靠性部署方法，其特征在于，步骤2)中，对服务功能链进行优先级划分，具体包括以下步骤：

a)分别计算服务功能链中各虚拟网络功能的总CPU需求r_cpu和各虚拟链路的总带宽需求r_bw；

b)计算r_cpu占最大可能需求的权重，计算r_bw占最大可能需求的权重；

c)根据r_cpu占最大可能需求的权重和r_bw占最大可能需求的权重，计算平均权重；

d)当判定步骤c)所得平均权重大于2/3时，划分为高优先级的服务功能链；

当判定步骤c)所得平均权重小于1/3时，划分为低优先级的服务功能链；

否则，划分为中优先级的服务功能链。

3.根据权利要求2所述的一种基于深度强化学习的服务功能链可靠性部署方法，其特征在于，当划分为高优先级的服务功能链时，对服务功能链中的每一个虚拟网络功能进行备份。

4.根据权利要求2所述的一种基于深度强化学习的服务功能链可靠性部署方法，其特征在于，当划分为中优先级的服务功能链时，针对服务功能链中的虚拟网络功能选择待部署节点，对所选待部署节点进行重要度划分；

当划分为高重要度的待部署节点时，针对待部署节点时对应的服务功能链中的虚拟网络功能进行备份；

否则，针对待部署节点时对应的服务功能链中的虚拟网络功能不备份。