[发明专利]计算流程图构建、计算效率优化方法、装置及电子设备

说明书

本申请实施例提供了一种计算流程图构建、计算效率优化方法、装置及电子设备。该计算流程图构建方法，包括以下步骤：获取目标计算任务的各个子任务,为每一所述子任务分配计算节点；根据各个子任务之间的依赖关系设置各个计算节点之间的数据管道，得到第一计算流程图；对所述第一计算流程图进行优化操作，得到优化后的第二计算流程图。本申请可以提高计算流程图的计算效率。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种计算流程图构建、计算效率优化方法、装置及电子设备。

背景技术

随着机器学习技术的日渐成熟，机器学习技术已经广泛应用于各个领域。在使用机器学习技术进行的视频或图像处理通常在高并发、高视频流路数、多业务流程下进行，计算量较大、业务逻辑复杂，在硬件算力一定的情况下需要进行性能优化以提高计算效率。然而目前缺少科学的性能分析工具，也就无法进行性能分析以找到性能瓶颈并进行优化。

针对上述问题，目前尚未有有效的技术解决方案。

发明内容

本申请实施例的目的在于提供一种计算流程图构建、计算效率优化方法、装置及电子设备，可以提高计算效率。

第一方面，本申请实施例提供了一种计算流程图构建方法，包括：

获取目标计算任务的各个子任务并为每一子任务分配计算节点；

根据各个子任务之间的依赖关系设置各个计算节点之间的数据管道，得到第一计算流程图；

对所述第一计算流程图的连接关系和/或计算节点进行优化处理，得到优化处理后的第二计算流程图。

可选地，在本申请实施例所述的计算流程图构建方法中，对所述第一计算流程图的连接关系进行优化处理，包括：

对所述第一计算流程图中存在的错误连接关系进行优化。

可选地，在本申请实施例所述的计算流程图构建方法中，所述对所述第一计算流程图中存在的错误连接关系进行优化，包括：

检测所述第一计算流程图的各个计算节点的输入端及输出端是否均连接有数据管道，并根据检测结果对第一计算流程图进行优化；

和/或，检测所述第一计算流程图的数据管道的输入端及输出端是否均连接有其他数据管道或计算节点，并根据检测结果对第一计算流程图进行优化；

和/或，检测所述第一计算流程图中是否存在未设置规则的数据管道，得到第三检测结果，并根据检测结果对第一计算流程图进行优化。

可选地，在本申请实施例所述的计算流程图构建方法中，对所述第一计算流程图的计算节点进行优化处理，包括：

将所述第一计算流程图中的不具有数据依赖关系的串行的计算节点调整为异步并行计算节点；

和/或，对所述第一计算流程图中的各个计算节点以及数据管道进行参数设置；

和/或，对所述第一计算流程图中的各个计算节点中满足分裂条件的计算节点进行分裂处理。

可选地，在本申请实施例所述的计算流程图构建方法中，所述对所述第一计算流程图中的各个计算节点以及数据管道进行参数设置，包括：

对数据管道设置缓存队列的最大长度进行参数设置。

可选地，在本申请实施例所述的计算流程图构建方法中，所述对所述第一计算流程图中的各个计算节点以及数据管道进行参数设置，包括：

对每一计算节点的最大批处理量以及相应的超时机制进行参数设置。

可选地，在本申请实施例所述的计算流程图构建方法中，所述对所述第一计算流程图中的各个计算节点中满足分裂条件的计算节点进行分裂处理，包括：