[发明专利]离线混部作业的资源调度方法及服务器系统

说明书

本发明提供一种离线混部作业的资源调度方法，包括：监测服务器中负载的数据请求类型；在监测到所述负载为离线型负载时，采集所述离线型负载在不同设置参数下的运行时间，所述设置参数包括输入数据量大小、Map、Reduce数据大小、迭代次数、BatchSize大小等；采用LWLR模型对所述运行时间进行训练，预测所述离线型负载的运行时间；根据预测的所述运行时间，选择相应的服务器资源对所述离线型负载进行处理。考虑了离线型负载在不同参数设置下的运行时间的预测，有效实现了服务器中负载资源的合理调度，在合理的资源配置和混部状态下，缩短离线应用的运行时间也能在一定程度上提升容器云服务系统性能，保证用户服务体验的质量。

技术领域

本发明属于云计算和网络技术领域，尤其涉及一种离线混部作业的资源调度方法及服务器系统。

背景技术

云计算服务和容器技术出现以来，云服务器通常采用容器云作为降低成本和提高效率的一种方式。容器易于移植、轻量级等特征大大简化了虚拟化的处理过程，但由于容器的隔离性较弱，在离线服务混合部署时会产生将极大的干扰问题。一方面，用户的资源请求非常频繁且多样化，而现有的资源分配策略相对静态，不能实时准确的获取负载的资源需求量，集群管理节点在进行资源分配时难以适应上层应用的动态资源需求的变化以及资源使用的不均衡性，从而降低了云集群的资源利用率；另一方面，基于容器的实时在线服务与离线批处理作业的混合部署在一定程度上提升了容器云集群的性能，但由于容器的弱隔离性，使得这种混部方式也造成了严重的资源碎片和资源抢占问题，进一步增加了作业调度的复杂性。

因此，如何解决容器云中混部负载的资源分配和作业调度问题非常关键。

发明内容

本发明的目的在于提供一种离线混部作业的资源调度方法及服务器系统，旨在解决现有技术中无法合理分配服务器资源的技术问题。

第一方面，本发明提供了一种离线混部作业的资源调度方法，包括：

监测服务器中负载的数据请求类型；

在监测到所述负载为离线型负载时，采集所述离线型负载在不同设置参数下的运行时间，所述设置参数包括输入数据量大小、Map、Reduce数据大小、迭代次数、BatchSize大小等；

采用LWLR模型对所述运行时间进行训练，预测所述离线型负载的运行时间；

根据预测的所述运行时间，选择相应的服务器资源对所述离线型负载进行处理。

优选的，所述监测服务器中负载的数据请求类型的步骤包括：

监控运行在服务器中负载的数据读写请求和响应延迟需求；

根据所述数据读写请求和响应延迟需求判断所述负载的数据请求类型。

优选的，所述根据所述数据读写请求和响应延迟需求判断所述负载的数据请求类型的步骤包括：

若所述负载的数据读写请求和响应延迟需求均小于相应的预设阈值，则判定所述负载为在线型负载，否则判定所述负载为离线型负载。

优选的，所述采用LWLR模型对所述运行时间进行训练，预测所述离线型负载的运行时间的步骤之前，所述方法还包括：

对所述离线型负载在不同设置参数下的运行时间进行预处理。

优选的，所述方法还包括：

在监测到所述负载为在线型负载时，采集所述服务器中运行负载的历史资源利用率；

分析所述历史资源利用率的变化趋势；

根据所述变化趋势选择相应模型对未来时刻的资源利用率进行预测；

根据预测的资源利用率选择相应的服务器资源进行处理。