[发明专利]用于调度数据处理的方法和节点

说明书

一种用于跨处理机集合(202)来调度数据处理的方法和作业调度节点(200)，每个处理机包括至少一个数据处理器。当接收(2:2)针对数据处理作业的请求时，作业调度节点(200)获得(2:5)每个处理机的当前处理器资源状态，处理器资源状态至少指示所述处理机中每个数据处理器的当前使用情况。作业调度节点(200)还基于所获得的处理器资源状态来选择(2:6)处理机集合中的至少一个空闲数据处理器，以执行数据处理作业，并且向所选择的至少一个数据处理器所位于的至少一个处理机(202a)分派(2:7)数据处理作业。

技术领域

本公开总体上涉及用于跨一系列处理机来调度数据处理的作业调度节点、资源监视器以及其中的方法，每个处理机包括一个或多个数据处理器。

背景技术

在数据处理领域，诸如不同公司、企业、组织和机构等的客户需要硬件和软件资源来执行各种数据处理操作。在本公开中，术语“数据处理器”用于简单地表示可被用于涉及数据处理(例如涉及分析、计算、编译、转换和数据存储)的计算机执行操作的任何设备。

传统上，客户自身可能拥有并维护其需要用于数据处理的所有资源，但这可能相当昂贵和耗时。例如，需要相当多的知识和技能来首先找出需要什么类型的资源并获取和安装这些资源。因此，客户经常需要雇用熟练的工作人员和/或聘请顾问来实现资源的高效利用。此外，随着计算机和软件领域中技术的快速发展和进步，购买或租用的资源趋向于会非常快速地变得过时，并且必须经常被具有更好性能的新资源所替代，这自然是昂贵和耗时的。另一个问题是，客户可能在非常有限的时间段内需要大量的资源来每年进行一次或仅几次大型的操作(例如与经济学、统计学或库存盘点有关)，而在剩余时间段内使用非常少的资源。因此，客户必须投资足够的资源来应对这种高峰使用，且还需应对需求和操作随着时间的推移发生变化的时刻。

近年来，客户有可能租用和利用共享资源进行数据处理，例如驻留在包括大范围处理器、计算机和数据存储在内的大型数据中心中的共享资源。有效地，所有需要的资源可以从这样的数据中心获得，并且客户不必对昂贵的资源中进行自己的投资。因此，将资源分配给客户以执行所请求的处理操作，并且可以在需要时再次向客户分配新的资源。

通常采用一些负载均衡功能来将传入的处理请求均匀分布在不同的处理机上，以避免数据中心等中的瓶颈并提高资源利用率。在本公开中，术语“处理机”用于表示数据中心等中的节点或服务器，该节点或服务器包括可用于对传入的处理请求进行数据处理的一个或多个数据处理器。处理机的集合通常被简称为“集群”。此外，所请求的处理操作被称为“数据处理作业”，或简称为“作业”，其根据处理请求可具有不同的持续时间和要求。

在本领域中基本上有两种类型的数据处理机：1)作为具有固定容量的固定式处理设备的物理机(PM)，以及2)虚拟机(VM)，虚拟机是具有灵活容量的临时处理设备，因为资源是专门针对每个处理请求来动态地创建和配置的。基本上只有在执行作业时VM才存在，且资源在完成作业后释放，而无论是否执行任何的作业，PM或多或少会永久存在。PM集合有时被称为“原生集群(native cluster)”，而VM集合被称为“虚拟集群”。此外，“混合集群”表示原生集群和虚拟集群的组合。虚拟机通常用于所谓的云计算背景中。因此，VM不是原生集群的一部分，并且可以将VM视为用于增强原生(或物理)集群的附加外部资源。以下描述将主要关注PM的使用。

通常采用作业调度功能或“作业调度器”来选择一个或多个合适的PM来执行所请求的数据处理作业，该所请求的数据处理作业可以由可由同一个PM执行或由不同的单独PM执行的多个任务组成。例如，数据处理作业的每个任务可以由单独的PM执行。换言之，作业调度器试图找到并选择应该能够执行该作业的一个或多个PM。