[发明专利]一种基于深度强化学习的多资源服务功能链调度方法

权利要求书

1.一种基于深度强化学习的多资源服务功能链调度方法，其特征在于，具体包括以下步骤：

S1、获取每个用户的请求，将每个请求抽象为服务功能链形式；接着获取服务器的数量，用二元组表示每个服务器上的资源，定义为：（cpu，mem），其中，cpu、mem分别表示服务器拥有的CPU资源和内存资源数量；

S2、将S1中所得的多资源服务功能链调度转化为强化学习问题，根据强化学习问题构建深度强化学习模型；其中，所述强化学习问题转化具体包括以下内容：

S2.1、状态表示：包括SFC的完成情况和服务器资源的使用情况；假设有k个服务器｛S₁，S₂，……，S_k｝和r个服务功能链｛f₁，f₂，……，f_r｝；系统状态定义为：state(t)=[S(t)，F(t)]；其中，S(t)=[s₁(t)，s₂(t)，……，s_k(t)]，表示每个服务器的状态；F(t)=[f₁(t)，f₂(t)，……，f_r(t)]，代表每个SFC状态；

S2.2、动作集合：确认要选择的服务器和服务功能链；通过从环境中观察到的当前状态state(t)=[S(t)，F(t)]，首先将其输入到神经网络，所述神经网络为带有隐藏层的全连接神经网络，其中，输入层接收服务器和服务功能链的状态向量，输出层输入一个维数为k*r的向量，表示选择每个动作的概率；

S2.3、奖励函数：强化学习的目标是在可靠性策略下，在满足用户需求的同时最小化平均作业完成时间；当基于强化学习的方法用于实现多资源服务功能链调度时，要求积累的奖励与服务功能链调度的目标一致，即，当agent获得的奖励增加时，相应的平均作业完成时间减少，基于此，设置奖励为在每个时间间隙完成的服务功能链个数的相反数；

S3、对S2中所得的模型进行训练，具体包括以下内容：

S3.1、向模型中输入k个服务器和r个服务功能链的具体资源信息；

S3.2、初始化策略网络的参数、学习率、折扣率和训练的轮数；

S3.3、对于每一轮训练，取样一个完整轨迹对智能体进行训练；当所有服务功能链被调度完成，轨迹即终止；

S3.4、训练过程中，若选择到一个无效的动作时，用一个有效动作进行替代；基于PG算法记录一个三元组，利用缓存中三元组计算每个状态的返回值G；

S3.5、收集了完整的轨迹之后，计算得出智能体所经历的所有状态的回报G；直接利用所得的G或对其进行数据归一化后来完成学习；

S3.6、每轮训练结束时，计算策略梯度损失；将其看作多分类任务，把每个状态的回报看作权重，据此更新网络的参数，开启下一轮训练；

S4、根据S3的训练结果得到一个动作序列，后面直接使用该动作序列训练的模型。