[发明专利]任务处理方法、装置、电子设备及存储介质

说明书

本申请涉及数据处理技术领域，公开了一种任务处理方法、装置、电子设备及存储介质，方法包括：获取目标任务对应的业务数据；获取目标任务的任务模块，任务模块包括多个逻辑单元实例，各逻辑单元实例之间具有设定的依赖关系；将业务数据输入任务模块中的第一级逻辑单元实例；并获得最后一级逻辑单元实例输出的业务处理结果，其中，各逻辑单元实例根据依赖关系确定位于其上一级的逻辑单元实例，并在根据上一级的逻辑单元实例的执行情况确定满足触发条件时，对上一级逻辑单元实例的输出数据执行相应的处理并输出处理结果。本申请实施例提供的技术方案，通过配置框架封装的方式以及简单的依赖关系，降低了维护逻辑单元实例间的依赖关系的成本。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种任务处理方法、装置、电子设备及存储介质。

背景技术

随着移动互联网的不断发展，业务需求也在不断增加，当一个项目发展到一定阶段时，项目功能的频繁变更，随之带来的是项目结构复杂度的增加以及程序代码量的增大。当一项任务的处理逻辑比较复杂时，为了更高效地使用计算资源，需要将该任务尽可能地划分成多个子任务，通过串行和并行执行各子任务对应的逻辑单元的方式，提高处理效率，子任务的划分粒度越细，并行效率越高。

但是，子任务的划分粒度越细，一项任务对应的逻辑单元就越多，这就需要花费大量的代码来处理逻辑单元之间的逻辑关系，不利于代码阅读，且在后续的维护中，一旦业务需求发生变更，修改成本较高且容易出错。

发明内容

本申请实施例提供一种任务处理方法、装置、电子设备及存储介质，以降低维护各逻辑单元间的依赖关系的成本。

一方面，本申请一实施例提供了一种任务处理方法，包括：

获取目标任务对应的业务数据，所述目标任务包括多个子任务；

获取所述目标任务的任务模块，所述任务模块包括多个逻辑单元实例，每个逻辑单元实例对应所述目标任务中的一个子任务，各逻辑单元实例之间具有设定的依赖关系，所述依赖关系根据所述多个子任务之间的处理逻辑设置；

将所述业务数据输入所述任务模块中的第一级逻辑单元实例；

并获得最后一级逻辑单元实例输出的业务处理结果，其中，各逻辑单元实例根据所述依赖关系确定位于其上一级的逻辑单元实例，并在根据上一级的逻辑单元实例的执行情况确定满足触发条件时，对上一级逻辑单元实例的输出数据执行相应的处理并输出处理结果。

可选地，所述获取所述目标任务的任务模块，具体包括：

获取所述目标任务的任务配置文件，所述任务配置文件中包括所述目标任务的各子任务对应的逻辑单元，以及各逻辑单元之间的依赖关系；

根据所述任务配置文件中的逻辑单元，创建对应的逻辑单元实例；

根据所述各逻辑单元之间的依赖关系，确定各逻辑单元实例之间的依赖关系。

可选地，所述任务配置文件还包括所述目标任务所需处理的业务数据的类别，以及每种类别的业务数据对应的工作流，每个工作流包括处理对应类别的业务数据所需的至少一个逻辑单元；

所述获取所述目标任务的任务模块，具体包括：

根据各类别的业务数据的数据量，确定各工作流对应的工作流数量N；

针对每个工作流，确定N个与所述工作流相同的工作流实例；

根据各工作流实例中的逻辑单元，创建对应的逻辑单元实例；

针对每个工作流实例，根据其对应的工作流中的逻辑单元之间的依赖关系，确定所述工作流实例中的逻辑单元实例之间的依赖关系；