[发明专利]任务处理方法和装置

说明书

本申请实施例提供一种任务处理方法和装置，该方法应用于分布式计算系统的调度服务器，调度服务器用于调度至少一个任务调度队列，每个任务调度队列对应的用户不同；该方法包括：接收来自客户端的第一用户的第一请求，第一请求用于请求执行至少一个作业，至少一个作业对应第一任务集合，第一任务集合位于第一用户对应的第一任务调度队列中；为第一任务集合分配资源；若为第一任务集合已分配的资源数量小于第一任务集合所需的最小资源数量、且第一任务集合中存在等待调度的第一任务，则从第一任务调度队列中的至少一个第二任务集合所占用的资源中释放资源，以执行第一任务。本申请实施例可以实时处理用户的请求。

技术领域

本申请实施例涉及计算机技术，尤其涉及一种任务处理方法和装置。

背景技术

Apache Spark系统为一种分布式计算系统，其使用的基于内存的弹性分布式数据集(Resilient Distributed Dataset，简称RDD)数据抽象大大减少了数据处理过程中磁盘的读写，大幅降低了运行时间。

目前的Apache Spark系统中的调度服务器接收到租户请求后，确定该请求对应至少一个作业(作业可称为job)，并将至少一个作业被划分后得到多个任务，该多个任务组成一个任务集合，即租户的一个请求对应一个任务集合。不同租户的请求所对应的任务集合被调度服务器分配至同一个任务调度队列中。任务调度队列中的任务的执行顺序与该任务在任务调度队列中顺序相同。若租户1的请求所对应的任务集合1排序在租户2的请求所对应的任务集合2之前，在任务集合1中的至少部分任务占用了全部的资源时，任务集合2中的任务需要等待该至少部分任务执行完毕才能执行。若该至少部分任务的执行时间很长，则任务集合2中的任务需要等待很长时间才能被执行，无法实时处理用户请求。

发明内容

本申请实施例提供一种任务处理方法和装置，可以实时处理用户请求。

第一方面，本申请实施例提供一种任务处理方法，所述方法应用于分布式计算系统的调度服务器，所述调度服务器用于调度至少一个任务调度队列，所述任务调度队列中包括至少一个任务集合，每个任务调度队列对应的用户不同；所述方法包括：接收来自客户端的第一用户的第一请求，所述第一请求用于请求执行至少一个作业，所述至少一个作业包含的多个任务组成第一任务集合，所述第一任务集合位于所述第一用户对应的第一任务调度队列中；为所述第一任务集合分配资源；若为所述第一任务集合已分配的资源数量小于所述第一任务集合所需的最小资源数量、且所述第一任务集合中存在等待调度的第一任务，则从所述第一任务调度队列中的至少一个第二任务集合所占用的资源中释放资源，以执行所述第一任务，所述第二任务集合中正在执行的任务所占用的资源数量大于所述第二任务集合所需的最小资源数量；其中，所述释放的资源的数量小于或等于第一数量，所述第一数量为所述第一任务集合所需的最小资源数量与所述已分配的资源数量之差或所述第一任务的数量。

本方案中，在为第一任务调度队列中的第一任务集合已分配的资源数量小于第一任务集合所需的最小资源数量、且第一任务集合中存在等待调度的第一任务时，则从第一任务调度队列的至少一个第二任务集合所占用的资源中释放资源，以执行第一任务，这样第一任务集合对应的第一请求可以被实时处理。由于第二任务集合满足如下条件，第二任务集合中正在执行的任务所占用的资源数量大于该第二任务集合所需的最小资源数量，因此第一任务调度队列的至少一个第二任务集合对应的请求也可以被实时处理。此外，不同的用户对应不同的任务调度队列，可使得调度服务器对各任务调度队列的资源调度策略更加的灵活。

在一种可能的实施方式中，若所述第一任务集合所需的最小资源数量与所述已分配的资源数量的差值大于所述第一任务的数量，则所述第一数量为所述第一任务的数量；若所述第一任务集合所需的最小资源数量与所述已分配的资源数量的差值小于或等于所述第一任务的数量，则所述第一数量为所述第一任务集合所需的最小资源数量与已分配的资源数量之差。