[发明专利]一种大数据任务调度方法

说明书

本发明公开了一种大数据任务调度方法，包括以下步骤：S1、将多个大数据分析任务分为多个优先级，相同优先级的大数据分析任务划分至同一组，并确定每组任务组中各个大数据分析任务的复杂度；S2、在Hadoop计算集群中基于循环调度学习算法神经网络构建任务调度子程，由任务调度子程将Hadoop计算集群的计算资源按优先级和复杂度分配给各个大数据分析任务。本发明可使得大数据分析时计算集群能够达到最优的运行状态，解决了计算任务的资源过度抢占的问题，同时也通过及时回收Hadoop集群的计算资源，保证计算资源得到充分的利用。

技术领域

本发明涉及大数据智能处理方法领域，具体是一种大数据任务调度方法。

背景技术

当世界在大步迈进5G时代，数据越来越成为企业的金矿，在这些数据金矿中提取到想要的金子，就需要利用到大数据分析技术，利用服务器集群的强大的算力来得到各种各样的数据报表，从而通过这些报表，能够直观地对相关业务有更加清晰地认识和理解。随着数据量的增加，从一开始的GB到TB，甚至到PB级别的数据，需要一个非常庞大的大数据集群来满足数据分析需求，同时分析需求也从几个到几十个再到几百个。

目前，在大数据分析领域，需要在法律允许的情况下收集用户的非敏感的行为数据，同时利用大数据技术对这些TB级别甚至PB级别的数据进行分析和学习，因此需要用到Hadoop生态的大数据分析技术。由于业务方面要求每天都要进行各个维度的大数据分析，大部分分析任务都会有一个分析的时间维度，比如月、周、日、时、分等，时间维度越大其对应需要一次性分析的数据就越庞大，要在一定的时间内得到分析结果的话，就需要更多的计算资源。

现有技术是启动一个Hadoop计算集群，利用Presto技术，在每天的特定时间点后，相应的触发各个计算任务，但是这种做法存在各种弊端，一方面，各个计算任务的资源出现互相抢占的问题，最终会导致某些分析任务由于计算资源不足而没有成功得到分析结果；另一方面，由于启用一个固定大小的集群，而分析任务一般都是凌晨后开始运行，且均需要在早上的时候得到分析的结果，就导致这个集群是在一段时间内几乎满负荷在运作，但也会有超过一半的时间是空闲的，出现了资源浪费的情况。同时几十上百个任务都在需要相应资源运行，若不加以区分，会导致一些相对重要的任务无法在预计时间内计算出分析结果，而相对不太重要或者说不太紧迫的分析任务却获得了较多的资源得以很快地输出分析结果，这种情况会对大数据分析造成较大的困扰和不便。

发明内容

本发明的目的是提供一种大数据任务调度方法，以解决现有技术进行大数据任务分析时存在的计算资源利用状况不佳的问题，实现利用最少的机器来完成最多的大数据分析业务。

为了达到上述目的，本发明所采用的技术方案为：

一种大数据任务调度方法，包括以下步骤：

S1、将多个大数据分析任务按它们的重要程度分为多个优先级，每个大数据分析任务均有各自的优先级，将相同优先级的大数据分析任务划分至同一组，得到多组任务组，然后确定每组任务组中各个大数据分析任务的复杂度；

S2、在Hadoop计算集群中基于循环调度学习算法神经网络构建任务调度子程，由任务调度子程将Hadoop计算集群的计算资源分配给各个大数据分析任务进行任务解析，任务调度子程分配过程如下：

按优先级将计算资源分配给多组任务组，计算资源的分配按优先级从高到低的顺序而减少；

每组任务组中，根据各个大数据分析任务的复杂度，使复杂度大于预设阈值的若干个大数据分析任务分别独占对应分配的计算资源进行解析，待复杂度大于预设阈值的若干个大数据分析任务解析完成后，其余大数据分析任务再使用对应分配的计算资源进行解析。

可选地，在一些具体实施例中：

所述的一种大数据任务调度方法，步骤S1中，各个大数据分析任务的优先级，根据其在业务方面的重要性进行划分，重要性越高的优先级越高。