[发明专利]一种数据处理任务的配置方法以及装置

说明书

本申请公开了一种数据处理任务的配置方法，该方法可以根据所述若干数据处理任务之间的上下游关系对所述若干数据处理任务进行整理得到所述数据处理任务配置信息对应的任务配置结果(即对所述若干数据处理任务进行了整理、整合)从而提高了任务配置结果的简洁性和使用便捷性，以及，对所述初始任务配置流程对应的循环依赖检测结果进行合理性校验，以提高所确定的所述数据处理任务配置信息对应的任务配置结果的准确性以及合理性，这样，本申请可以提高数据处理任务的配置的效率、准确性以及便捷性，进而提高了用户体验。

技术领域

本申请涉及数据处理领域，尤其涉及一种数据处理任务的配置方法、装置。

背景技术

在数据仓库、数据中心、数据中台等数据治理类型的项目中，存在大量的数据处理功能模块/脚本，分别实现数据的采、存、用的功能，这些模块、脚本在执行过程中存在互相依赖的关系，共同形成数据治理流程。

当前业界通常使用开源工具(如kettle)或自研产品进行流程编排，流程中的依赖关系、触发时机都依靠数据治理人员人工维护，这种方式在中小型项目中可以顺利支撑，当业务量较大时(千、万级任务量)，面临以下问题：

1、难以判断任务的上下游依赖，难以确定可执行时间；

2、手工制定的流程为了便于构思，通常使用固化步骤节点的方式进行分阶段，处理效率达不到最优；

3、传统流程编排采用统一周期触发，日、周、月等不同周期时，需要将同一任务改编多次，以适应不同的周期需求，并分别配置到对应的周期流程中，多套流程执行时容易引发冲突，并且维护复杂；

4、业界常用工具都是使用分级流程，缺乏完整明细步骤视图，维护复杂。

故此，亟需一种新的数据ID的生成方案。

发明内容

本申请提供一种数据处理任务的配置方法，以实现提高数据处理任务的配置的效率、准确性以及便捷性，进而提高了用户体验。

第一方面，本申请提供了一种数据处理任务的配置方法，所述方法包括：

获取数据处理任务配置信息；

根据所述数据处理任务配置信息，确定所述数据处理任务配置信息中的若干数据处理任务，以及所述若干数据处理任务之间的上下游关系；

根据所述若干数据处理任务以及所述若干数据处理任务之间的上下游关系，确定初始任务配置流程；

若所述初始任务配置流程对应的循环依赖检测结果满足预设条件，根据所述初始任务配置流程确定所述数据处理任务配置信息对应的任务配置结果。

第二方面，本申请提供了一种数据处理任务的配置方法，所述装置包括：

信息获取单元，用于获取数据处理任务配置信息；

关系确定单元，用于根据所述数据处理任务配置信息，确定所述数据处理任务配置信息中的若干数据处理任务，以及所述若干数据处理任务之间的上下游关系；

流程确定单元，用于根据所述若干数据处理任务以及所述若干数据处理任务之间的上下游关系，确定初始任务配置流程；

结果确定单元，用于若所述初始任务配置流程对应的循环依赖检测结果满足预设条件，根据所述初始任务配置流程确定所述数据处理任务配置信息对应的任务配置结果。

第三方面，本申请提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面中任一所述的方法。

第四方面，本申请提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。