[发明专利]资源混合调度的控制方法及系统

说明书

本发明公开了一种资源混合调度的控制方法及系统，所述控制方法包括：预先在运行在线作业的宿主机上部署若干台虚拟机；判断当前时间是否处在非业务高峰时间段内，若在，则控制所述虚拟机开启并运行设定数量的目标离线作业；若不在，则控制所述虚拟机关闭并继续运行所述在线作业。本发明通过分时调用的方式，克服了现有的在线作业和离线作业在时间和空间上利用率的不均衡，对实际资源的造成大量浪费的缺陷，提高了在线作业的平均CPU利用率，减少了对于离线作业计算资源的采购费用，降低了互联网数据中心的部署成本。

技术领域

本发明涉及数据处理技术领域，特别涉及一种资源混合调度的控制方法及系统。

背景技术

在互联网数据中心的部署成本中，很大一部分源于采购服务器资源。这些服务器被用来运行不同的应用程序，主要包括在线应用(即在线作业)和离线作业。其中，在线应用的可用性会直接影响到业务指标，具有非常高的优先级，而离线作业失败时，有一定的容错处理方案，离线作业主要运行一些大数据相关的计算，执行的成功与否不会直接影响到业务指标，优先级相对比较低。

考虑到在线应用和离线作业的优先级不同，为了避免互相干扰，现有的在线应用和离线作业都是各自规划、单独采购、分开部署的。具体地，互联网公司大多直接面向用户，资源消耗呈现明显的高峰和低谷，白天业务高峰时间段请求量较高，在线应用对资源的利用率也高，夜间非业务高峰时间段请求量较少，在线应用对资源的利用率也低；大部分离线作业在夜间非业务高峰时间段异常繁忙；与此同时，离线作业的压力常常负荷过载。

因此，现有的在线应用在非业务高峰时间段存在大量空闲资源，而对应的时间段又有大量的离线作业需要运行，且常常会出现负载过重的现象；另外，随着离线作业不断在增长，需要更多的计算资源来执行任务；离线作业大多都是计算密集型，对物理资源的硬件配置要求比较高，从而资源的采购成本也非常高。

发明内容

本发明要解决的技术问题是现有技术中的在线作业和离线作业在时间和空间上利用率的不均衡，对实际资源的造成大量浪费，且离线作业运行常出现负载过重的现象，另外离线作业对物理资源的硬件配置要求比较高，造成资源的采购成本非常高等缺陷，目的在于提供一种资源混合调度的控制方法及系统。

本发明是通过下述技术方案来解决上述技术问题：

本发明提供一种资源混合调度的控制方法，所述控制方法包括：

S1、预先在运行在线作业的宿主机上部署若干台虚拟机；

S2、判断当前时间是否处在非业务高峰时间段内，若在，则控制所述虚拟机开启并运行设定数量的目标离线作业；若不在，则控制所述虚拟机关闭并继续运行所述在线作业。

较佳地，步骤S1之前还包括：

获取每台所述宿主机上的所述在线作业对应的资源画像数据；

根据所述资源画像数据判断所述在线作业是否符合预设条件，若符合，则确定所述在线作业属于消耗型资源，否则，确定所述在线作业属于非消耗型资源；

步骤S1包括：

预先在所述非消耗型资源对应的所述宿主机上部署若干台所述虚拟机。

较佳地，所述预设条件包括CPU(中央处理器)密集型、内存消耗型、磁盘消耗型、网络IO(输入输出)密集型和磁盘IO密集型中的至少一种；和/或，

所述资源画像数据包括所述宿主机在业务高峰时间段内的CPU利用率、内存利用率、磁盘的利用率、网卡的出入流量和磁盘的读写IOPS(硬盘性能指标)对应的平均值、方差中的至少一种。

较佳地，步骤S1之后、步骤S2之前还包括：

对所述宿主机上的所述虚拟机进行隔离处理；和/或，

步骤S1之后还包括：