[发明专利]计算流程图构建、计算效率优化方法、装置及电子设备

权利要求书

1.一种计算流程图构建方法，其特征在于，包括：

获取目标计算任务的各个子任务并为每一子任务分配计算节点；

根据各个子任务之间的依赖关系设置各个计算节点之间的数据管道，得到第一计算流程图；

对所述第一计算流程图的连接关系和/或计算节点进行优化处理，得到优化处理后的第二计算流程图；

所述根据各个子任务之间的依赖关系设置各个计算节点之间的数据管道，包括：

根据各个计算节点之间的数据流向关系设置数据管道；

通过以下方式中的至少一种设置数据管道的类型：

当存在第一计算节点时，将所述第一计算节点的输出端连接的数据管道设置为广播管道；第一计算节点为将执行所述子任务后的数据同时传输至多个下一级计算节点的节点；

当存在第二计算节点时，将所述第二计算节点的输出端连接的数据管道设置为多支路管道；所述第二计算节点为需要根据选择条件选择接收目标数据的下一级计算节点的节点，所述目标数据为所述第二计算节点执行所述子任务后产生的数据；

当存在第三计算节点时，将所述第三计算节点的数据输入管道设置为合并管道；所述第三计算节点为能够接收多个上一级计算节点执行所述子任务后的数据的节点；

当存在第四计算节点时，将所述第四计算节点的数据输出管道设置为保序管道；所述第四计算节点为数据的接收顺序与数据的输出顺序须保持一致的节点。

2.根据权利要求1所述的计算流程图构建方法，其特征在于，对所述第一计算流程图的连接关系进行优化处理，包括：

对所述第一计算流程图中存在的错误连接关系进行优化。

3.根据权利要求2所述的计算流程图构建方法，其特征在于，所述对所述第一计算流程图中存在的错误连接关系进行优化，包括：

检测所述第一计算流程图的各个计算节点的输入端及输出端是否均连接有数据管道，并根据检测结果对第一计算流程图进行优化；

和/或，检测所述第一计算流程图的数据管道的输入端及输出端是否均连接有其他数据管道或计算节点，并根据检测结果对第一计算流程图进行优化；

和/或，检测所述第一计算流程图中是否存在未设置规则的数据管道，得到第三检测结果，并根据检测结果对第一计算流程图进行优化。

4.根据权利要求1-3任一项所述的计算流程图构建方法，其特征在于，对所述第一计算流程图的计算节点进行优化处理，包括：

将所述第一计算流程图中的不具有数据依赖关系的串行的计算节点调整为异步并行计算节点；

和/或，对所述第一计算流程图中的各个计算节点以及数据管道进行参数设置；

和/或，对所述第一计算流程图中的各个计算节点中满足分裂条件的计算节点进行分裂处理。

5.根据权利要求4所述的计算流程图构建方法，其特征在于，所述对所述第一计算流程图中的各个计算节点以及数据管道进行参数设置，包括：

对数据管道设置缓存队列的最大长度进行参数设置。

6.根据权利要求5所述的计算流程图构建方法，其特征在于，所述对所述第一计算流程图中的各个计算节点以及数据管道进行参数设置，包括：

对每一计算节点的最大批处理量以及相应的超时机制进行参数设置。

7.根据权利要求4所述的计算流程图构建方法，其特征在于，所述对所述第一计算流程图中的各个计算节点中满足分裂条件的计算节点进行分裂处理，包括：

从所述第一计算流程图的计算节点中筛选出目标计算节点；所述目标计算节点对应的子任务可以分裂为多个子任务；

将所述目标计算节点分裂为多个新计算节点。

8.根据权利要求7所述的计算流程图构建方法，其特征在于，所述对所述第一计算流程图中的各个计算节点中满足分裂条件的计算节点进行分裂处理，还包括：

判断所述多个新计算节点中是否存在目标计算节点；

若存在，则从所述多个新计算节点中筛选出目标计算节点，并返回执行所述将所述目标计算节点分裂为多个新计算节点的步骤；

若不存在，则结束分裂处理。