[发明专利]一种用于虚拟机迁移模型的训练方法

权利要求书

1.一种用于虚拟机迁移模型的训练方法，其特征在于，所述训练方法包括如下步骤：

S1、构建初始迁移模型，并随机初始化模型参数，其中，所述初始迁移模型为神经网络；

S2、获取初始环境状态，将每一个虚拟机对应的初始环境状态进行张量化表示，其中，每一个张量化表示的环境状态包括虚拟机信息、虚拟机所在主机位置分布信息、虚拟机在主机的资源占用情况；

S3、以初始环境状态对应的所有张量化表示作为起点，对初始化后的迁移模型进行回合制训练，直至达到预设的训练回合，其中，每回合训练包括对迁移模型进行多次迭代训练直至迁移模型收敛或者达到预设的迭代次数，其中每次迭代训练包括：

S31、以当前时刻的环境状态对应的所有张量化表示作为模型的输入，

得到所有虚拟机需要进行的迁移动作；

S32、以当前的探索概率探索新动作以替换步骤S31中得到的虚拟机的迁移动作；

S33、基于当前时刻虚拟机的迁移动作获得迁移动作执行后的下一时刻的环境状态；

S34、根据当前时刻和下一时刻的环境状态，计算当前时刻执行迁移动作的综合奖赏值；其中，迁移模型的综合奖赏值包括能耗奖赏值、过载奖赏值和迁移奖赏值的加权和，其中：

能耗奖赏值通过如下方式计算：

过载奖赏值通过如下方式计算：

迁移奖赏值通过如下方式计算：

综合奖赏值通过如下方式计算:

r_t(s_t,a_t)＝α·r_power(s_t,a_t)+β·r_overload(s_t,a_t)+γ·r_migrs(s_t,a_t)

其中，s_t表示数据中心虚拟机环境状态信息，a_t表示虚拟机的迁移动作，idle_rate、over_rate和migrs分别表示活跃主机数占比、过载主机数占比、虚拟机迁移数量，α、β、γ分别是能耗奖赏值、过载奖赏值和迁移奖赏值的权重，且α+β+γ＝1；S35、基于迁移模型的综合奖赏值更新迁移模型的参数以及探索概率以进行下一次迭代训练；

S4、动态采集数据中心的虚拟机环境状态信息对完成回合制训练的迁移模型进行在线训练直至迁移模型收敛。

2.根据权利要求1所述的一种用于虚拟机迁移模型的训练方法，其特征在于，所述步骤S2中获取的初始环境状态为人工模拟的初始环境状态和实时在线初始环境状态中的一种。

3.根据权利要求2所述的一种用于虚拟机迁移模型的训练方法，其特征在于，人工模拟的初始环境状态通过如下方式获得：

S21、随机初始化当前环境中每个主机的所有资源维度的资源大小；

S22、随机初始化每个虚拟机的所有资源维度的负载大小；

S23、随机将虚拟机分配到一个主机上，其中，虚拟机所需资源不超过其所在主机资源的上限。

4.根据权利要求3所述的一种用于虚拟机迁移模型的训练方法，其特征在于，所述步骤S32以如下方式中的一种进行新动作的探索：

第一种探索，随机产生新的迁移动作；

第二种探索，以预设的分布概率在迁移模型产生的动作基础上进行微调得到新的迁移动作。

5.根据权利要求4所述的一种用于虚拟机迁移模型的训练方法，其特征在于，所述每回合训练中，在达到预设迭代次数或迁移模型收敛时结束当前回合的训练；

其中，所述预设迭代次数设置为200次；

所述迁移模型收敛是指在某次训练后该迁移模型的综合奖赏值的累计平均值与此次训练前相比没有增加或者增加的比率低于0.1％。