[发明专利]基于hadoop集群的任务调度方法和装置

权利要求书

1.一种基于hadoop集群的任务调度方法，其特征在于，包括：

根据各待调度任务的业务类型，部署多个虚拟节点，其中，每个所述业务类型与至少一个所述虚拟节点相对应，每个虚拟节点对应一种业务类型；

接收用户发送的待调度任务，并根据所述待调度任务的业务类型确定用于分配所述待调度任务的所述虚拟节点；

利用所确定的虚拟节点，将所述待调度任务分配到与该所述虚拟节点对应的代理节点，以使所述代理节点将所述待调度任务提交到所述hadoop集群，其中，各所述虚拟节点与至少一个所述代理节点相对应，每个代理节点与一种业务类型对应。

2.根据权利要求1所述的方法，其特征在于，在接收用户发送的待调度任务之前，所述方法还包括：

根据所述用户输入的信息，读取所述用户的角色，并在预设的角色-权限对应关系中查询该所述用户的角色对应的权限，以确定所述用户具有提交所述待调度任务的权限。

3.根据权利要求1所述的方法，其特征在于，在接收所述用户发送的待调度任务的同时，获取所述待调度任务的任务配置信息；

响应于确定所述待调度任务满足运行规则，利用所述虚拟节点将该所述待调度任务分配到对应的所述代理节点，其中，所述待调度任务的运行规则为所述任务配置信息中的一种。

4.根据权利要求3所述的方法，其特征在于，所述任务配置信息还包括如下中的至少一种：

所述待调度任务的基本参数；

所述待调度任务运行的时间条件；

所述待调度任务运行的执行队列；

所述待调度任务对应的所述虚拟节点；

所述待调度任务与其它调度任务的依赖关系；

其中，所述hadoop集群包括多个所述执行队列。

5.根据权利要求1所述的方法，其特征在于，所述接收用户发送的待调度任务，并根据所述待调度任务的业务类型确定用于分配所述待调度任务的所述虚拟节点，包括：

接收所述用户发送的第一待调度任务，其中，所述第一待调度任务为所述用户发送的任一所述待调度任务；

根据所述第一待调度任务的业务类型，确定用于分配所述第一待调度任务的第一虚拟节点，其中，所述第一待调度任务的业务类型与第一虚拟节点相对应。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

监测所述第一虚拟节点的负载量；

响应于确定所述第一虚拟节点的负载量小于第一预设阈值，利用该所述第一虚拟节点获取所述第一待调度任务。

7.根据权利要求5所述的方法，其特征在于，所述利用所确定的虚拟节点，将所述待调度任务分配到与该所述虚拟节点对应的代理节点，包括：

监测与所述第一虚拟节点对应的各所述代理节点的负载量，并从中确定负载量小于第二预设阈值的第一代理节点；

利用所述第一虚拟节点，将所述第一待调度任务发送到所确定的第一代理节点。

8.根据权利要求7所述的方法，其特征在于，所述监测与所述第一虚拟节点对应的各所述代理节点的负载量，并从中确定负载量小于第二预设阈值的第一代理节点，包括：

监测各所述代理节点的资源利用率和任务并发上限值，其中，所述资源利用率包括CPU利用率、内存利用率、硬盘利用率和进程利用率中的至少一种；

当与所述第一虚拟节点对应的各所述代理节点中存在至少一个所述代理节点未达到所述任务并发上限值时，从所述至少一个所述代理节点中确定资源利用率小于第三预设阈值的所述代理节点作为所述第一代理节点。

9.根据权利要求3所述的方法，其特征在于，获取所述待调度任务的任务配置信息，包括：

接收所述用户利用显示在终端设备上的可视化界面发送的所述待调度任务的任务配置信息，其中，所述可视化界面用于编辑和显示所述待调度任务的任务配置信息。