[发明专利]基于动态资源共享的数据中心任务混合部署方法及系统

说明书

本发明属于云计算资源管理技术领域，公开了一种基于动态资源共享的数据中心任务混合部署方法及系统，将时间轴划分为多个时隙，获取本次时隙内到达的任务请求；为上一时隙未完成的离线任务重新计算资源需求并部署任务；将新到达的任务请求按照先在线后离线的顺序排序；确定在线任务峰值资源需求和当前时隙的预留资源门限并部署任务，为离线任务计算在单个时隙内完成所需的资源量并部署任务；在下一个调度时刻到来之前，将每个服务器上剩余资源按比例临时提供给该服务器上的离线任务使用。本发明利用在线工作负载的时变特性来最大化临时可用资源的利用率，同时保证延迟敏感服务的服务质量，并尽可能减轻混合部署对离线任务的影响。

技术领域

本发明属于云计算资源管理技术领域，尤其涉及一种基于动态资源共享的数据中心任务混合部署方法及系统。

背景技术

目前：随着云计算的发展，越来越多的应用被部署到数据中心中。云计算通过虚拟化的技术将数据中心的物理资源建模成一个资源池，使得一台服务器上可以运行多个虚拟机。云服务提供商通过虚拟机的形式向用户提供所需资源，根据用户任务的实际资源需求为虚拟机分配资源。多项研究表明，大多数数据中心平均资源利用率较低，如谷歌、亚马逊和阿里巴巴，通常资源利用率低于40％。

云计算环境中有两类典型业务：在线型和离线型。在线任务通常是面向用户的，具有运行时间长，延迟敏感，负载随时间变化等特点，例如网页浏览、在线支付、社交媒体等。离线任务通常可以容忍较大的运行时延，只需要保证其在截止期限内完成，如数据分析。数据中心资源利用率低的一个主要原因是大量延迟敏感性的在线任务的存在。由于用户访问模式和不可预测的峰值，这类任务的负载变化较大，通常数据中心为其分配的资源量超出其实际消耗的资源量。在负载峰值来临前，大量资源处于空闲状态。

提高资源利用率一个行之有效的方法是在部署了在线任务的服务器上启动时延容忍的离线任务，使离线任务利用在线工作负载未充分利用的资源。已有的数据中心任务混合部署方法中，一种较为保守的方法是将“安全”(不会产生干扰的)的任务组合部署在一起。集群调度程序预测给定应用程序混合部署的干扰，在运行时调整分配，或者在预测的延迟违反服务质量(Quality-of-Service,QoS)时禁止资源共享。虽然这种方法保护了在线任务的QoS，但它过于保守。另一种有一定风险的策略是实时测量在线任务的服务器性能级别(如响应时间)，当测量值优于目标值时，尝试递减一种资源(如内核数量、内存容量等)，并将剩余资源分配给离线任务使用。这种策略可能导致更多的QoS违反，因为测量总是滞后的，当测得的服务器性能水平低于服务质量要求时再进行调整为时已晚。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有技术将“安全”的任务组合部署在一起能够保证任务之间不会产生性能干扰，但限制了可以混合部署的任务的数量，无法最大化数据中心的资源利用率，进而产生开启服务器数量增加带来的能耗增加的问题。

(2)现有技术实时测量在线任务的服务器性能级别，忽略了在线任务对响应时间的严格要求以及实时测量带来的时延问题，从而导致更多的在线任务频繁违反用户服务质量要求。

解决以上问题及缺陷的难度为：

如何减小共享资源的任务之间资源竞争产生的干扰问题，同时最大化数据中心的资源利用率。

解决以上问题及缺陷的意义为：

通过解决以上问题，能够在保障在线任务QoS的同时，使离线任务尽可能充分利用在线任务时变特性所带来的临时可用资源，从而提升数据中心的任务承载能力。

发明内容

针对现有技术存在的问题，本发明提供了一种基于动态资源共享的数据中心任务混合部署方法及系统。

本发明是这样实现的，一种基于动态资源共享的数据中心任务混合部署方法，所述基于动态资源共享的数据中心任务混合部署方法包括：