[发明专利]基于ER关系的分布式调度方法及装置、设备以及存储介质

权利要求书

1.一种分布式调度方法，用于对大数据平台中的任务进行调度，其特征在于，

所述大数据平台中的分层任务包括:

数据采集任务，从业务系统采集数据，得到数据集；

数据清理计算任务，对于所述数据集计算其中需要清理的数据；

明细数据计算任务，以对所述数据集中的明细数据进行计算；

应用数据计算任务，以对所述数据集中的应用数据进行计算，

所述分布式调度方法包括如下步骤：

步骤S1，确定需要调度的计算任务的范围，生成初始任务集合；

步骤S2，将所有初始任务集合中的计算任务基于ER关系进行分层排列；

步骤S3，对每个任务的内存和处理器开销进行估算，通过资源开销评估算法计算各自分值，并按照分值进行排序以生成执行任务集合；

步骤S4，将所述执行任务集合中的所述任务，分配到所述大数据平台的多个计算节点以由多个所述计算节点执行各自的任务；其中，所述步骤S2包括：

对于所述初始任务集合中的计算任务，解析ER关联关系；

基于所述ER关联关系进行分层排列；其中，

所述对于所述初始任务集合中的计算任务，解析ER关联关系包括：解析每个任务的单个作业的ER关联关系，所述解析每个任务的单个作业的ER关联关系包括：

提取所述计算任务的文本信息中关键字，根据所述关键字获取该计算任务的ER关联关系；

对于该计算任务的上游的数据表的引用字段进行关联分析，确定该计算任务关联到的具体字段的来源；

当源头业务系统的数据结构字段发生变更时，及时更新本计算任务的对应字段及其下游层的关联信息。

2.根据权利要求1所述的分布式调度方法，其特征在于，还包括如下步骤：

步骤S5，在所述步骤S1至所述步骤S4中，生成计算任务日志文件和告警日志文件。

3.根据权利要求1所述的分布式调度方法，其特征在于，所述步骤S1中，当存在新增任务发布时，则重新确认所述需要调度的计算任务的范围，更新所述初始任务集合。

4.根据权利要求1所述的分布式调度方法，其特征在于，所述提取所述计算任务的文本信息中关键字包括：通过文本识别技术识别所述计算任务的文本信息中的所述关键字。

5.根据权利要求4所述的分布式调度方法，其特征在于，所述关键字包括所述文本信息中的调用字段、连接字段、以及基于命名规则的字段中的一个或多个。

6.根据权利要求5所述的分布式调度方法，其特征在于，在解析ER关联关系前还包括如下步骤：

按预定规则将所述计算任务划分为多个批次，

所述基于所述ER关联关系进行分层中，在每个批次内，对所述计算任务基于所述ER关联关系进行分层。

7.根据权利要求6所述的分布式调度方法，其特征在于，所述预定规则包括按照时间梯队进行划分和/或按照业务逻辑进行划分。

8.根据权利要求1所述的分布式调度方法，其特征在于，所述解析每个任务的单个作业的ER关联关系还包括：将每个计算任务的单个作业的ER关联关系，通过结构化查询语言导入数据库。

9.根据权利要求8所述的分布式调度方法，其特征在于，所述基于所述ER关联关系进行分层排列包括：

对于所述数据库中的所有数据进行整理，并基于预定规则进行分类；

基于所有计算任务的所述ER关联关系，计算各计算任务的分层值；

基于所述分层值，对所述计算任务进行分层。

10.根据权利要求9所述的分布式调度方法，其特征在于，基于联机分析计算各计算任务的分层值。

11.根据权利要求1所述的分布式调度方法，其特征在于，所述步骤S3中，所述资源开销评估算法依照木桶原理计算各自分值。