[发明专利]负载均衡方法和装置、存储介质、计算设备及计算系统

说明书

公开了一种负载均衡方法和装置、存储介质、计算设备及计算系统。一方面，当离线任务被唤醒，基于逻辑核的负载状态及其兄弟逻辑核上对延迟极度敏感的在线任务的运行情况，分别确定离线任务在各个逻辑核上运行的预估概率；将离线任务分配给预估概率最高的逻辑核。另一方面，当逻辑核上即将运行对延迟极度敏感的在线任务，将其兄弟逻辑核的任务队列中的离线任务节流，放入暂缓列表；响应于存在空闲逻辑核，执行第一级空闲均衡处理；当第一级空闲均衡处理失败，从各个暂缓列表中选择待执行离线任务迁移到空闲逻辑核。由此，提高了计算系统的资源利用率而又不破坏NCS设计原则，即兄弟逻辑核上不能同时分别运行离线任务和对延迟极度敏感的在线任务。

技术领域

本公开涉及任务调度技术领域，特别涉及任务调度过程中的负载均衡技术领域。

背景技术

目前，在数据中心，为了提高物理机的资源利用率，达到节省成本的目的，经常在同一台物理机上同时部署在线应用(在线任务)和离线应用(离线任务)。在线应用对延迟比较敏感，而离线应用则对延迟不敏感。

另一方面，在离线应用和在线应用混合部署的环境中，首先需要保证的是在线任务的服务质量(QoS)，其次才是提高机器资源利用率。然而，离线应用会对在线应用造成干扰，降低在线任务的性能。

从CPU层面上来看，一个物理核上可以有两个超线程(HT，HyperThread)，可以视为两个逻辑核，两者互为兄弟。对于CPU调度器来说，每个逻辑核可以被当做一个独立的CPU。下文中将逻辑核也简称为HT。如果一个超线程(逻辑核)运行在线任务的同时，另一个超线程(逻辑核)运行离线任务，那么由于两个超线程之间共享很多硬件资源，超线程干扰会降低在线应用的性能。

在此，为了描述方便，将离线任务表示为“batch”，将在线任务表示为“LS(latencySensitive)”，而将其中对延迟极度敏感的在线任务表示为“L*”。

对于L*任务，从CPU层面，需要最大力度地降低干扰，以保证QoS。因此，就需要解决上面提到的超线程干扰。

为解决batch任务对L*任务的超线程干扰，在与本专利申请同日递交的发明专利申请“任务调度方法和装置、存储介质以及计算设备”中，提出了NCS(超线程干扰消除调度器，Noise Clean Scheduler)调度方案，以确保当一个逻辑核上正在或将要运行L*任务时，同一个物理核上另一个逻辑核不会执行batch任务。具体说来，另一个逻辑核正在执行的batch任务将被打断，而其任务队列中的batch任务将被从任务队列中取出(换言之，batch任务被节流(throttle)或暂缓)，放入暂缓列表中。

为便于理解本发明的技术方案，在后文中，将对NCS调度方案加以详细描述。

而在任务调度过程中，除了要考虑避免上述超线程干扰，还要考虑负载均衡。

一般在三种时机(三种机制)进行负载均衡：任务唤醒时的负载均衡、CPU空闲时的负载均衡、以及周期性的负载均衡。一些任务调度方案中基于静态权重或动态权重做负载均衡。

另外，还有一种基于完全公平调度器(CFS调度器，Complete FairScheduler)设计的双层CFS调度器(TLCFS，Two Level CFS)。这两层分别叫做CFS和CFS_PRIO。每层都有独立的运行队列，都独立执行CFS的调度策略。但CFS层的优先级高于CFS_PRIO。在混合部署环境中，任务可以被分为在线任务(Latency Sensitive，LS)和离线任务(Batch)。LS任务只能出现在CFS层，而离线任务只能出现在CFS_PRIO层。

然而，TLCFS方案主要用于隔离在线任务和离线任务，降低离线任务对在线任务的干扰，但并不能消除或降低超线程干扰。也不能适用于上述NCS调度方案。