[发明专利]强化学习和机器学习相结合的云软件服务资源分配方法

权利要求书

1.一种强化学习和机器学习相结合的云软件服务资源分配方法，其特征在于，包括如下步骤：

步骤S1、使用强化学习方法，针对历史数据计算每一管理操作在不同环境、状态下的Q值；

步骤S2、使用机器学习方法，训练管理操作的Q值预测模型，而后，基于Q值预测模型，输入当前环境和状态，预测每一管理操作的Q值；

步骤S3、根据Q值预测模型，在运行时进行管理操作决策，通过反馈控制，逐步推理调整资源分配；

步骤S1中，以工作负载作为环境、已分配的资源作为状态、每一种类型虚拟机数量增减一台作为管理操作、达到目标资源分配方案作为奖励，使用Q-Learning算法计算相应环境、状态下每一管理操作的Q值；

所述使用Q-Learning算法计算相应环境、状态下每一管理操作的Q值的具体过程如下：

S31、初始化Q值表；

S32、将当前虚拟机配置方案vm_current随机初始化为可供选择的虚拟机配置方案VM_optional中的任意方案，若当前虚拟机配置方案vm_current不是目标资源分配方案vm_objective时，基于当前虚拟机配置方案vm_current在对应奖励值表reward_table中随机选取奖励值大于-1的动作作为action；

S33、利用奖励函数公式计算步骤S32的动作action对应的reward值，基于该action得出下一步配置方案vm_next；奖励函数公式如下：

所有的奖励值初始值设为0，若在当前虚拟机分配方案vm_allocated下通过选择动作action即可转变为最优配置vm_objective，则将在此分配方案下对应动作的奖励值设为10；若在当前虚拟机分配方案vm_allocated下通过选择动作action转变为一种不存在于VM_optional中的分配状态，则将在此分配方案下对应动作的奖励值设为-1；

S34、基于下一步配置方案vm_next选出最大的Q值maxQ(vm_next,action’)；

S35、根据Q值更新公式对当前配置方案的Q值进行迭代更新，每执行一步策略就更新一次值函数估计，并将vm_next标记为当前方案vm_current，完成状态的转换；

通过重复步骤S32-S35计算从当前方案到最优方案的每一可选方案管理操作的Q值；

步骤S3中，根据Q值预测模型，在运行时进行管理操作决策，采用的决策算法实现如下：

S71、输入当前工作负载和虚拟机配置，对于将当前分配方案转变为不合法分配方案的管理操作，其Q值设为临界值I，对于将当前分配方案转变为合法分配方案的管理操作，其Q值根据管理操作Q值预测模型进行计算；

S72、当除临界值I以外所有类型管理操作的Q值均小于或等于阈值T时，不再需要执行任何管理操作，即找到目标资源分配方案，结束；

S73、当存在其中一类型管理操作的Q值大于阈值T时，执行具有最小Q值的管理操作，即继续寻找目标资源分配方案，重新执行步骤S71。

2.根据权利要求1所述的强化学习和机器学习相结合的云软件服务资源分配方法，其特征在于，步骤S2中，使用机器学习方法，训练管理操作的Q值预测模型之前，需对基于Q-learning算法计算出的管理操作Q值进行预处理，具体Q值预处理公式如下：

3.根据权利要求1所述的强化学习和机器学习相结合的云软件服务资源分配方法，其特征在于，步骤S2中，所述机器学习方法为SVM、CART和NLREG机器学习方法。

4.根据权利要求1所述的强化学习和机器学习相结合的云软件服务资源分配方法，其特征在于，步骤S3中，根据当前环境、状态和软件服务质量，使用预测模型计算不同类型管理操作的Q值，比较不同类型管理操作的Q值，进行管理操作决策，通过反馈控制，逐步寻找目标资源分配方案。