[发明专利]一种去中心化资源调度方法及系统

说明书

技术领域

本发明涉及并行计算技术领域，特别是指一种去中心化资源调度方法及系统。

背景技术

当前已经进入了大数据时代，大数据不光带来了信息产业的创新，还推动了传统产业自我价值的重新定位。

目前的大数据计算，主要有Yarn，Spark，Storm等。这些计算框架大部分都是主从结构。为了解决单点故障问题，会启动一个备资源调度节点以便主资源调度节点发生故障时能接管服务。但目前的架构中，同一时间，主备资源调度节点只有一个能正常提供服务。这样一来就会存在一个问题：当大量的作业需要在计算框架中并发运行时，资源调度节点面临的冲击将会很大，很可能出现内存溢出，作业资源调度异常等各种问题。

从大数据平台的应用发展趋势来看，目前主要有两种方向:一是基于开源的基础上自研大数据平台供内部使用；二是实现数据平台的物理支撑，以租户的方式提供大数据服务给众多的小厂商。这两种方向都会遇到上述的大量作业并发运行的问题。对于内部使用的数据平台来说还可以通过限制作业并发运行的数目来避免问题，但是对于以服务方式提供的数据平台来说，大量作业并发运行将是系统所必备的功能。

大量作业并发运行的问题尚未在各大数据计算框架中引起足够的重视,但是随着提供服务的大数据平台的推广,使用服务的租户的增长,大量作业并发的问题将很快成为一个亟待解决的问题。目前暂时也没有发现完整、系统化的方案提出,大概可行的方案有如下几种:

现有方法1：提升资源调度节点的机器性能,扩大资源调度角色的CPU，内存，网络资源。这样可以有限地提升资源调度节点的数据吞吐能力。

缺点：为了满足硬件的高配置要求，代价将会很高昂。而当并发作业数上万时，该节点的负载将会非常高，很容易出现异常，且主备切换也需要花费更多的时间。

现有方法2：使用多个大数据集群联合，在其上封装一个接口层，将作业负载均衡地分配到各集群上。该方法能较好地实现集群能力的横向扩展。

缺点：由于集群之间资源是隔离的，租户最多只能获得一个集群的所有资源，而集群联合的总资源往往是远远大于某一个集群的。

集群的数据源(通常是HDFS)往往是采用联邦方式实现的横向扩展。当作业需要处理的数据是跨越多个集群时，作业由于只在一个集群上得到资源调度，对于集群外的数据全都需要远程获取，本地性不够，加大网络负载。

由于存在多个集群，租户的资源使用率不好控制，普通租户和Vip租户的资源使用率如何避免集群差异的影响会比较复杂。

现有方法3：使用多个大数据集群联合,并提供一个作业控制模块。当收到提交的作业时将作业按策略分解为多个作业并分发到相应的数据集群进行计算。由于多个集群联合，资源调度模块有多个，作业的并发能力得到扩展。

缺点：作业控制模块对作业的分解将依赖于作业的具体业务，导致作业控制模块的逻辑有依赖性。

作业由于被分解成了多个子作业，如果业务逻辑还需要对数据进行汇总的话，势必还要一个汇总作业。复杂性比较高。

发明内容

本发明的目的在于提供一种去中心化资源调度方法及系统，解决现有技术中大量作业并发的问题。

为了解决上述技术问题，本发明实施例提供一种去中心化资源调度方法，包括：

利用集群接入节点接收作业；

利用资源调度策略节点根据当前资源负载情况和所述作业中的作业特征和用户特征得到对应的资源调度节点信息；

若不存在与所述资源调度节点信息相对应的资源调度节点，则生成所述资 源调度节点，利用所述资源调度节点为所述作业调度资源。

可选地，在所述利用集群接入节点接收作业之前，所述去中心化资源调度方法还包括：

配置预设数量预启动的所述资源调度节点；

在系统启动时，启动配置的所述预设数量的所述资源调度节点。

可选地，在所述利用所述资源调度节点为所述作业调度资源之后，所述去中心化资源调度方法还包括：

若预设时间段内生成的所述资源调度节点没有为另一作业调度资源，则自动关闭生成的所述资源调度节点。

可选地，所述利用资源调度策略节点根据当前资源负载情况和所述作业中的作业特征和用户特征得到对应的资源调度节点信息的步骤包括：

根据所述作业特征得到所述作业的数据本地性较好的资源调度节点集合；

根据所述用户特征得到资源的限制约束；

根据预设策略，结合所述当前资源负载情况、资源调度节点集合和资源的限制约束得到对应的资源调度节点信息。