[发明专利]基于有向无环图的分布式任务调度方法、装置及存储介质

说明书

本发明提供了一种基于有向无环图的分布式任务调度方法、装置及存储介质，该方法包括构建有向无环图，有向无环图中包括多个处理流程，处理流程包括第一处理流程和第二处理流程，第二处理流程包括多个子流程；依次顺序执行多个处理流程，执行第二处理流程为：并行执行多个子流程；将执行完第一处理流程得到的运算结果和执行完每个子流程得到的运算结果储存至分布式文件系统中；其中，初始处理流程的输入数据为预设数据，上一处理流程的运算结果为下一处理流程的输入数据。通过将有向无环图中的每个处理流程拆分为独立的任务，同时缓存每个任务的运算结果，在参数试错时无需重复执行之前已运算过的流程。

技术领域

本发明涉及任务调度技术领域，特别涉及一种基于有向无环图的分布式任务调度方法、装置及存储介质。

背景技术

现有技术中的数据处理流程为：

图1是现有技术中一实施例的数据处理过程示意图，其中，原始数据依次进入处理流程1、处理流程2进行处理后，将进入处理流程3、处理流程4，最终得到所需的结果。而一个处理流程，分别输入不同的参数进行处理后将输出不同的运算结果，针对一个处理流程、不同参数的情况，目前大部分的方案是将一个处理流程拆分成两个独立的流程后，再重新进行执行。例如图2所示，图2是现有技术中另一实施例的数据处理过程示意图，该实施例中，处理流程3包括两种运算方法：“处理流程3-1”和“处理流程3-2”，处理流程4也包括两种运算方法：“处理流程4-1”和“处理流程4-2”。处理流程3-1和处理流程3-2的处理过程是一样的，处理流程4-1和处理流程4-2的处理过程也是一样的，只是在两个流程进行处理时输入的参数不一样。

因此图2中的数据处理流程从一开始就被拆分成了两条路线，这样一来两个流程不仅都执行了“处理流程1”和“处理流程2”，如果计算资源(运算服务器数量)比较紧张，那么只能等其中一个运算完成后，再运行第二个。而且如果某一个中间处理流程出现了问题，那么在解决完该中间处理流程的问题后，就需要将整个处理过程再重新执行一遍。例如：“处理流程2”出现问题，在解决完处理流程2的问题后，需要重新从“处理流程1”再次开始执行，进而再执行“处理流程2”，浪费时间和计算资源。

而数据清洗和机器学习算法都需要配置大量的参数，执行每个处理流程时都需要不断调整参数，如果某一个处理流程的参数需要修改，则需要重新运行整个过程。同样会浪费时间和计算资源。

因此，大数据时代随着数据量越来越大，如何高效利用计算资源，降低试错成本(主要是指参数错误或者参数调整的时间成本)，是当前亟需解决的问题。

发明内容

(一)发明目的

本发明的目的是提供一种基于有向无环图的分布式任务调度方法、装置及存储介质，通过将有向无环图中的每个处理流程拆分为独立的任务，同时缓存每个任务的运算结果，在参数试错时无需重复执行之前已运算过的流程。

(二)技术方案

为解决上述问题，根据本发明的一个方面,本发明提供了一种基于有向无环图的分布式任务调度方法，包括：构建有向无环图，有向无环图中包括多个处理流程，所述处理流程包括第一处理流程和第二处理流程，第二处理流程包括多个独立的子流程；依次顺序执行多个处理流程，执行所述第二处理流程为：并行执行第二处理流程包括的多个子流程；将执行完第一处理流程得到的运算结果和执行完每个子流程得到的运算结果储存至分布式文件系统中；其中，初始所述处理流程的输入数据为预设数据，上一处理流程的运算结果为下一处理流程的输入数据。

进一步的，还包括：从所述储存至分布式文件系统中提取所述第一处理流程的运算结果，将所述运算结果输入下一所述处理流程。

进一步的，还包括：从所述储存至分布式文件系统中提取所述第二处理流程中的多个所述子流程的运算结果，对比多个所述子流程的所述运算结果，并得到最优运算结果，将所述最优运算结果输入下一所述处理流程。