[发明专利]强化学习和机器学习相结合的云软件服务资源分配方法

说明书

本发明涉及一种强化学习和机器学习相结合的云软件服务资源分配方法。建立面向变化负载的管理操作决策模型。首先，使用强化学习方法，针对历史数据计算每一管理操作在不同环境、状态下的Q值；其次，使用机器学习方法，基于Q值预测模型，输入环境和状态，就能预测每一管理操作的Q值；最后，根据Q值预测模型，在运行时进行管理操作决策，通过反馈控制，逐步推理合适的资源分配方案。本发明方法使用在实际应用RUBiS中，结果显示：本发明方法能够提高云应用资源分配的有效性，管理操作决策的正确性达到92.3%，相比传统机器学习方法，资源分配效果提高约6%。

技术领域

本发明属于软件工程云计算领域，具体涉及一种强化学习和机器学习相结合的云软件服务资源分配方法。

背景技术

云计算的发展使得应用系统可以按需使用资源。将软件部署在云中，可以利用云平台的资源池，根据负载变化对资源进行动态调整，一方面能够满足应用性能需求，如降低响应时间，与用户高效交互，另一方面能满足服务质量要求，如降低资源成本、提高数据吞吐率。因此，管理员动态进行资源分配，需要保证软件服务质量同时降低资源开销。自适应资源分配是实现资源动态调整的主要技术手段。

一些自适应技术已经被应用到云资源管理中，包括启发式方法、控制论和机器学习。传统的自适应方法如启发式方法往往基于专家知识，针对每个系统单独制定一套管理规则，成本高、效率低且范围受限。基于控制论的资源分配方法则需要大量的迭代来找到合适的资源分配方案，频繁的虚拟机开关会导致高昂的额外开销。机器学习方法需要大量的历史数据来建立准确的QoS预测模型，导致在实际中预测模型的准确度往往不高，这极大影响了资源分配的有效性。强化学习要求环境固定(负载)，针对固定负载，可以使用运行数据训练决策模型，负载变化则需要重新训练，因此，很难应用在负载多变的实际环境中。

发明内容

本发明的目的在于提供一种强化学习和机器学习相结合的云软件服务资源分配方法，该方法能够提高云应用资源分配的有效性，相比传统机器学习方法，资源分配效果大大提高。

为实现上述目的，本发明的技术方案是：一种强化学习和机器学习相结合的云软件服务资源分配方法，包括如下步骤：

步骤S1、使用强化学习方法，针对历史数据计算每一管理操作在不同环境、状态下的Q值；

步骤S2、使用机器学习方法，训练管理操作的Q值预测模型，而后，基于Q值预测模型，输入当前环境和状态，预测每一管理操作的Q值；

步骤S3、根据Q值预测模型，在运行时进行管理操作决策，通过反馈控制，逐步推理调整资源分配。

在本发明一实施例中，步骤S1中，以工作负载作为环境、已分配的资源作为状态、每一种类型虚拟机数量增减一台作为管理操作、达到目标资源分配方案作为奖励，使用Q-Learning算法计算相应环境、状态下每一管理操作的Q值。

在本发明一实施例中，所述使用Q-Learning算法计算相应环境、状态下每一管理操作的Q值的具体过程如下：

S31、初始化Q值表；

S32、将当前虚拟机配置方案vm_current随机初始化为可供选择的虚拟机配置方案VM_optional中的任意方案，若当前虚拟机配置方案vm_current不是目标资源分配方案vm_objective时，基于当前虚拟机配置方案vm_current在对应奖励值表reward_table中随机选取奖励值大于-1的动作作为action；

S33、利用奖励函数公式计算步骤S32的动作action对应的reward值，基于该action得出下一步配置方案vm_next；奖励函数公式如下：