[发明专利]基于ER关系的分布式调度方法及装置、设备以及存储介质

说明书

提供一种基于ER关系的分布式调度方法及装置、电子设备以及计算机存储介质，其中，基于ER关系的分布式调度方法用于对大数据平台中的任务进行调度，所述分布式调度方法包括如下步骤：步骤S1，确定需要调度的计算任务的范围，生成初始任务集合；步骤S2，将所有初始任务集合中的任务基于ER关系进行分层排列；步骤S3，对每个任务的内存和处理器开销进行估算，通过资源开销评估算法计算各自分值，并按照分值进行排序以生成执行任务集合；步骤S4，将所述执行任务集合中的所述任务，分配到所述大数据平台的多个计算节点以由多个所述计算节点执行各自的任务。根据本发明的分布式调度方法，进行分配控制和开销测算，解决了资源浪费情况。

技术领域

本发明涉及大数据平台技术，特别涉及一种大数据平台的任务的基于ER关系的分布式调度方法及装置、电子设备以及非暂时性计算机存储介质。

背景技术

随业务发展范围逐步扩大，通常，公司大数据平台承接了越来越多的数据计算任务，也逐步成为数据服务的重要支柱平台。以电商企业的大数据平台为例，从电商分析中心报表任务最初30个数据采集任务和20-30个计算任务为起点，逐步覆盖寄托报表、财务报表、供应链业务、风险预警、GMV运营日报等业务的近400多个数据采集任务和700多个数据分析计算任务；同时数据服务的对象层面也从业务中台向经营决策转变。因此通过设立大数据基础平台优化项目，将针对性的优化需要列入项目完成目标，解决相应的应用问题。

目前应用的调度方法，存在通过参数设定预先设置了分配规则，但不匹配实际计算任务差异化的开销情况的实际应用问题。

进一步地，还存在下述实际应用问题：

资源开销的颗粒度较高，大计算任务分配不足、小计算任务浪费较大，导致大计算任务计算结果较慢，小计算任务并发任务总数受限，整体上影响了并发运行总量和效果；

预处理过程和管理途径不足以满足专业化的运行结果分析；

不能满足对整体范围内异常任务运行情况的快速定位排查；

现有调度程序的故障分析定位时间较长，因此必须将所有批次的执行日志进行存储，目的是在下一次调度启动前，有足够的时间定位到故障的信息而不被覆盖；同一个小时级计算任务的日志一天将存储20+次；因此每天生成的计算日志文件数量约在15000个以上；每天的日志数据量基于分布式存储大于1G，因此，运行产生的碎片和垃圾文件较多，维护精力和投入成本较高。

发明内容

有鉴于此，本发明立足于日以拓展的业务应用场景，其目的之一在于提供一种分布式调度方法，其能够在计算任务刷新落地数据集的同时保持了平台内结果集在前端查询服务，使的大数据平台整体上能够满足计算周期内更多的并发计算任务能力，同时，实现了对计算任务总集的解析与分层，无需人工定义配置信息，由“基于ER关联关系”进行分层的算法能够自动识别与生成配置信息，大幅降低了人力资源投入和管理时间。

本发明的另一个目的在于提供一种分布式调度装置。

本发明的又一个目的在于提供一种电子设备。

本发明的目的还在于提供一种非暂时性计算机存储介质。

为解决上述技术问题，本发明采用以下技术方案：

根据本发明第一方面实施例的分布式调度方法，用于对大数据平台中的任务进行调度，其特征在于，

所述大数据平台中的分层任务包括:

数据采集任务，从业务系统采集数据；

数据清理计算任务，以对于所采集的数据计算需要清理的数据；

明细数据计算任务，以对所述大数据平台的数据仓库的明细数据进行计算；

应用数据计算任务，以对所述大数据平台的数据仓库的应用数据进行计算，