[发明专利]云计算集群混部作业调度方法、装置、服务器及存储装置

说明书

本发明公开了一种云计算集群混部作业调度方法、装置、服务器及存储装置，其中方法包括：分析预先获取的多种负载类型的历史运行日志数据，确认每种负载类型运行时所需的最大资源值；基于最大资源值模拟将多种负载类型混合部署至服务器，并获取每种混合部署模式下硬件事件的发生频率；基于硬件事件发生频率计算每种混合部署模式的推荐评分；当接收到作业调度请求时，确认满足作业调度请求的所需资源；筛选出符合所需资源的服务器列表，并从服务器列表中确认推荐评分最高的目标混合部署模式；根据目标混合部署模式对作业调度请求进行系统调度。本发明通过在资源层面和硬件事件层面对作业调度请求进行双层混合部署，以提升云服务器整体资源利用率。

技术领域

本申请涉及云计算技术领域，特别是涉及一种云计算集群混部作业调度方法、装置、服务器及存储装置。

背景技术

云计算服务因其高扩展性、按需服务以及极其廉价的特性而被广泛应用于数据中心服务平台，越来越多的企业和个人选择利用云计算平台运行应用程序。随之云集群中的服务类型越来越多样化，对作业调度的要求也越来越高。为了提升云计算集群整体的资源利用率，云数据中心相关人员开始逐步重视对物理主机的混合利用。

目前，提升云计算集群资源利用率主要从两个方面进行。一是负载特征分析与资源预测，该方法通过对负载的历史运行日志进行分析，采用服务器学习模型等进行预测下一时刻的资源消耗情况，从而进行合理的资源分配。该方式在一定程度上缩短了资源请求与实际资源消耗的差距，减少服务器资源超售的情况。二是集群中的混部策略的部署，主要是将实时型业务和计算型业务混部在同一台物理机中。但是，目前大部分的作业调度方案考虑的是单个层面，即资源层的资源需求或者作业本身的调度优先级，采用的方法有神经网络、蚁群算法等经典启发式算法，排队论等，或者是基于经典算法模型的改进策略，其忽略了混合部署时，不同类型的负载之间互相干扰而导致服务器集群性能下降的问题。

发明内容

本申请提供一种云计算集群混部作业调度方法、装置、服务器及存储装置，以解决现有的作业调度方案因负载之间互相干扰而导致服务器集群性能下降的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种云计算集群混部作业调度方法，其包括：

分析预先获取的多种负载类型的历史运行日志数据，确认每种负载类型运行时所需的最大资源值；

基于最大资源值模拟将多种负载类型混合部署至服务器，并获取每种混合部署模式下硬件事件的发生频率；

基于硬件事件发生频率计算每种混合部署模式的推荐评分；

当接收到作业调度请求时，确认满足作业调度请求的所需资源；

筛选出符合所需资源的服务器列表，并从服务器列表中确认推荐评分最高的目标混合部署模式；

根据目标混合部署模式对作业调度请求进行系统调度。

作为本发明的进一步改进，所述每种混合部署模式的推荐评分的计算公式为：

其中，T_w1w2为w1、w2两种负载类型混合部署时的推荐评分，S_HEM＝{IPC,BPM,LLCM……}，w1、w2分别代表不同类型的负载，rate_i表示w1、w2混合部署运行时w1的硬件事件发生频率与w1单独部署运行时的硬件事件发生频率的比值，α_i为预先设定的硬件事件的权重。

作为本发明的进一步改进，基于所述最大资源值模拟将所述多种负载类型混合部署至服务器的步骤之前，还包括：

当出现新的负载类型时，通过相似性分析确认与新的负载类型最接近的负载类型，以确认新的负载类型所需的最大资源值。

作为本发明的进一步改进，确认满足作业调度请求的所需资源的步骤之后，还包括：