[发明专利]一种提高不同优先级任务间隔离性的多维资源隔离系统

说明书

本发明提出一种为不同优先级任务提供多维度资源隔离的隔离系统，其特征在于，包括多维资源占用量建模模块，实时资源使用量预测模块，多维资源隔离控制模块；所述多维资源占用量建模模块进行任务历史信息收集，使用回归算法建立多维资源占用量映射到进程每秒执行的指令数的资源模型；所述实时资源使用量预测模块，所述实时资源使用量预测模块进行任务负载实时监控和多维资源使用量预测；所述模型预测结果为该任务的实时资源隔离配额；所述多维资源隔离控制模块，接收来自所述资源使用量预测模块输出的预测结果，对不同优先级的任务进行隔离配额的调整。

技术领域

本发明涉及调度领域，尤其涉及一种提高不同优先级任务间隔离性的多维资源隔离系统。

背景技术

随着云计算技术的发展，在大规模集群中将对延迟较为敏感的任务与批处理类任务进行混合调度已经成为提高资源利用率的一个主流途径，而同时为了保障延迟敏感类任务的性能，需要具有良好隔离性能的隔离系统来对不同任务的进程进行资源隔离。

Linux Control Groups(以下简称Cgroups)是目前Linux内核提供的对CPU和内存容量使用上限进行限制的方法。Cgroups是Linux内核提供的一种可以限制、记录、隔离进程组(process groups)所使用的物理资源(如：CPU,Memory等)的机制。最初由Google的工程师提出，后来被整合进Linux内核。Cgroups也是LXC为实现虚拟化所使用的资源管理手段，是LXC和Docker的基础。

Cgroups最初的目标是为资源管理提供的一个统一的框架，既整合现有的Cpuset等子系统，也为未来开发新的子系统提供接口。现在的Cgroups适用于多种应用场景，从单个进程的资源控制，到实现操作系统层次的虚拟化(OS Level Virtualization)。

Cgroups定义了多个子系统来实现多种资源的隔离，如CPU、内存等。这里面每一个子系统都需要与内核的其他模块配合来完成资源的控制，比如对cpu资源的限制是通过进程调度模块根据cpu子系统的配置来完成的；对内存资源的限制则是内存模块根据memory子系统的配置来完成的，而对网络数据包的控制则需要Traffic Control子系统来配合完成。

内核使用Cgroup结构体来表示一个controlgroup对某一个或者某几个Cgroups子系统的资源限制。Cgroup结构体可以组织成一颗树的形式，每一棵Cgroup结构体组成的树称之为一个Cgroups层级结构。Cgroups层级结构可以attach一个或者几个Cgroups子系统，当前层级结构可以对其attach的Cgroups子系统进行资源的限制。

目前在一些大规模集群的调度场景中，一般主要使用了Cgroups中的cpu和memory两个子系统，分别对cpu和内存容量进行隔离，具体的实现方式是与Linux系统提供的Cgroups接口进行交互，从而限制cpu和内存容量的资源上限，达到一种单机环境下的资源划分目的，从而隔离不同进程间的资源抢占和干扰。

Cgroups可以为不同进程提供cpu和内存容量维度的资源隔离，但是仍存在着一些缺点：

首先，目前的大规模资源调度系统大多使用Cgroup中的cpu和memory两个子系统进行cpu和内存资源的隔离，这种方式可以限制每个被调度任务的资源使用上限，从而在一定程度上保障每个任务的性能，但是任务运行时表现出的性能不仅仅跟它所占有的cpu和memory资源有关，还跟其他维度的资源比如LLC缓存、内存带宽占用量等有关，因此，仅仅使用Cgroup进行cpu和memory的隔离是不全面的，所提供的任务间隔离性很有限。