[发明专利]一种用于虚拟机迁移模型的训练方法

说明书

本发明提供一种用于虚拟机迁移模型的训练方法，所述方法包括：S1、构建初始迁移模型，并随机初始化模型参数；S2、获取初始环境状态，将每一个虚拟机对应的初始环境状态进行张量化表示；S3、以初始环境状态对应的所有张量化表示作为起点，对初始化后的迁移模型进行回合制训练，直至达到预设的训练回合；S4、动态采集数据中心的虚拟机环境状态信息对完成回合制训练的迁移模型进行在线训练直至迁移模型收敛。本发明能够将多目标的虚拟机动态迁移优化问题抽象为一个强化学习模型的训练和推理过程，通过训练能够得到最优化的虚拟机动态迁移模型，实现数据中心长时间低能耗和高服务质量目标，并且得到的迁移模型可以灵活地应用于各种通用的云数据中心虚拟机管理系统和业务环境。

技术领域

本发明涉及云计算领域，具体来说，涉及云数据中心场景中的虚拟机整合领域，更具体地说，涉及一种基于强化学习的虚拟机迁移模型的训练方法、虚拟机迁移方法等。

背景技术

虚拟机整合是一种非常流行的虚拟机资源管理方法，它通过实时感知主机节点和虚拟机的负载运行情况，以及采用虚拟机迁移技术来得到更多的空闲主机，然后通过关闭这些主机能够有效地降低整体的能耗。

为了便于研究，目前大部分研究工作都将虚拟机动态资源整合问题拆分为四个不同子问题来分别进行研究：主机过载检测，主机欠载检测，虚拟机选择，虚拟机重分配(或虚拟机迁移)。

1、主机过载检测是指确定何时将主机视为过载处理，例如：可以划定一固定阈值，并且当主机的总资源占用率超过该阈值(如100％)时，将主机视为过载。但是，不合理的阈值或者静态阈值会因为虚拟机负载动态变化而导致性能损失。

2、主机欠载检测和主机过载检测刚好相反，即确定何时将主机视为欠载。欠载检测的目的在于确定低负载主机，以作为关闭的对象。

3、虚拟机选择是指确定过载主机上选择哪些虚拟机将被迁移，从而降低主机资源不足对服务质量的影响。出于节能的目的，需要把欠载主机关闭，因此被判定欠载的主机上所有的虚拟机都将被迁移。

4、虚拟机重分配则是给待迁移的虚拟机重新选择托管主机位置，不合理的迁移机制不仅不利于节能，还会进一步产生巨大的迁移开销和导致服务质量问题。

虚拟机整合的关键在于如何有效地保障用户服务质量(Quality of Service，QoS)。QoS可以进一步表示为服务等级协议(Service Level Agreement，SLA)。该协议广泛地描述了如最大吞吐量、最小响应时间、系统处理延迟、故障时间/频率等特征。故虚拟机资源整合的主要目的在于确保SLA的同时，尽可能降低系统能耗。为了达到这一目标，现有工作大多数都是重点考虑虚拟机动态资源整合过程中某个特定的子问题(如主机过载检测或虚拟机重分配等)。这种只考虑单个子问题的做法不仅不能兼顾各个子问题之间的相互影响，从而无法实现最优的虚拟机资源整合；而且对于云系统管理人员而言，要求非常专业的知识去针对每个子问题单独配置一个最佳策略，并且配置好的策略随时可能因为业务场景的变化而发生变化，从而产生巨大的人力和时间等成本。因此，目前仍旧缺少一种低能耗、高服务质量、自适应能力强的虚拟机资源整合方法。

现有的虚拟机分配方法主要有静态分配和动态分配。虚拟机静态分配方法主要用于解决虚拟机的首次部署问题，没有考虑虚拟机运行时负载情况，不能直接应用于虚拟机的动态管理过程。而现有的虚拟机动态分配方法为了方便大多将此问题拆分成主机过载检测、主机欠载检测、虚拟机选择、虚拟机重分配四个子问题来进行研究，而任何单一的解决方案都无法实现最优化能效或服务质量目标，并且难以灵活地应用于不同的业务场景，这对于管理员而言，无疑增加了管理和配置难度。尽管存在部分工作从理论的角度去研究虚拟机的动态管理问题，但是这些方法在求解问题时要么过于复杂，实际的可用性差；要么采用一些贪婪式或者近似算法来进行求解，同样难以实现能耗和服务质量长期最优化目标。

综上所述，现有的虚拟机动态分配方法难以实现长期最优化能耗和服务质量目标，并且受限于特定的应用场景，自适应能力差，配置管理成本高。

发明内容