[发明专利]基于hadoop集群的任务调度方法和装置

说明书

本申请实施例公开了基于hadoop集群的任务调度方法的装置。该方法的一具体实施方式包括：根据各待调度任务的业务类型，部署多个虚拟节点，其中，每个业务类型与至少一个虚拟节点相对应；接收用户发送的待调度任务，并根据待调度任务的业务类型确定用于分配待调度任务的虚拟节点；利用所确定的虚拟节点，将待调度任务分配到与该虚拟节点对应的代理节点，以使代理节点将待调度任务提交到hadoop集群，其中，各虚拟节点与至少一个代理节点相对应。该实施方式按照待调度任务的业务类型确定用于向hadoop集群提交待调度任务的虚拟节点和对应代理节点，可以实现大量不同业务类型的待调度任务并行计算的需求。

技术领域

本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及基于hadoop集群的任务调度方法和装置。

背景技术

随着国民经济的快速发展，各行各业所产生和存储的数据量急速增加，“大数据”已经渗透到每一行业和领域，成为重要的生产要素。在现有技术中，大量的企业采用RDBMS(关系型数据库管理系统)的网络计算基数对海量数据实现存储与计算。

但是，RDBMS的网络计算的应用系统在数据量出现海量增加时，无法满足用户要求。并且随着数据的增加，RDBMS硬件的扩展空间有限，数据增加到足够大的数量级后，因为硬盘的输入/输出的瓶颈使得处理大量数据时效非常低，造成RDBMS的网络计算无法满足大数据量、并行计算的发展需求。

发明内容

本申请实施例的目的在于提出一种改进的基于hadoop集群的任务调度方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种基于hadoop集群的任务调度方法，该方法包括：根据各调度任务的业务类型，部署多个虚拟节点，其中，每个业务类型与至少一个虚拟节点相对应；接收用户发送的待调度任务，并根据待调度任务的业务类型确定用于分配待调度任务的虚拟节点；利用所确定的虚拟节点，将待调度任务分配到与该虚拟节点对应的代理节点，以使代理节点将待调度任务提交到hadoop集群，其中，各虚拟节点与至少一个代理节点相对应。

在一些实施例中，在接收用户发送的待调度任务之前，上述方法还包括：根据用户输入的信息，读取用户的角色，并在预设的角色-权限对应关系中查询该用户的角色对应的权限，以确定用户具有提交待调度任务的权限。

在一些实施例中，在接收用户发送的待调度任务的同时，获取待调度任务的任务配置信息；响应于确定待调度任务满足运行规则，利用虚拟节点将该待调度任务分配到对应的代理节点，其中，待调度任务的运行规则为任务配置信息中的一种。

在一些实施例中，任务配置信息还包括如下中的至少一种：待调度任务的基本参数；待调度任务运行的时间条件；待调度任务运行的执行队列；待调度任务对应的虚拟节点；待调度任务与其它调度任务的依赖关系；其中，hadoop集群包括多个执行队列。

在一些实施例中，接收用户发送的待调度任务，并根据待调度任务的业务类型确定用于分配待调度任务的虚拟节点，包括：接收用户发送的第一待调度任务，其中，第一待调度任务为用户发送的任一待调度任务；根据第一待调度任务的业务类型，确定用于分配第一待调度任务的第一虚拟节点，其中，第一待调度任务的业务类型与第一虚拟节点相对应。

在一些实施例中，上述方法还包括：监测第一虚拟节点的负载量；响应于确定第一虚拟节点的负载量小于第一预设阈值，利用该第一虚拟节点获取第一待调度任务。

在一些实施例中，利用所确定的虚拟节点，将待调度任务分配到与该虚拟节点对应的代理节点，包括：监测与第一虚拟节点对应的各代理节点的负载量，并从中确定负载量小于第二预设阈值的第一代理节点；利用第一虚拟节点，将第一待调度任务发送到所确定的第一代理节点。