[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本公开实施例公开了一种数据处理方法、装置、电子设备及存储介质，所述方法包括：获取计算图的配置数据，其中，所述计算图包括处理节点及所述处理节点之间的依赖关系；基于所述配置数据，生成处理流程实例；基于所述处理流程实例，处理目标数据；展示所述处理流程实例的处理结果。该技术方案能够使得相关人员无需关心数据处理流程的具体实现算法，只需根据需要配置计算图，能够实现数据处理流程的快速上线，节省相关人员的流程开发时间，提高流程开发效率。

技术领域

本公开涉及计算机技术领域，具体涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

视频处理算法涉及安全、交通、综合治理、互联网教育等方方面面，视频处理算法的种类丰富多样，不同应用场景的视频处理流程复杂多变，为了实现视频处理算法上线，相关人员在实现新的应用需求时，要花费大量的时间开发视频处理算法管线、研究编程语言、解决内存泄露、多线程管理、做各种硬件优化、深度学习框架的适配等工作，即便是有经验的C++程序员，也要花费至少两周的时间才能在新的应用场景下完成算法上线。因此，如何实现视频处理算法的快速开发、管线的灵活构建以及工作流的有效性执行成为了当前视频处理技术领域需要解决的技术问题之一。

发明内容

本公开实施例提供一种数据处理方法、装置、电子设备及计算机可读存储介质。

第一方面，本公开实施例中提供了一种数据处理方法，包括：

获取计算图的配置数据，其中，所述计算图包括处理节点及所述处理节点之间的依赖关系；

基于所述配置数据，生成处理流程实例；

基于所述处理流程实例，处理目标数据；

展示所述处理流程实例的处理结果。

进一步地，基于所述配置数据，生成处理流程实例，包括：

基于所述配置数据中所述处理节点的标识数据，获取系统库中所述处理节点对应的可执行实体；

根据所述可执行实体生成所述处理流程实例。

进一步地，基于所述处理流程实例，处理目标数据，包括：

启动所述计算图的至少一个第一并行执行流程，每个所述第一并行执行流程中通过执行所述计算图对应的所述处理流程实例对目标数据中的视频进行处理。

进一步地，每个所述第一并行执行流程中通过执行所述计算图对应的所述处理流程实例对目标数据中的视频进行处理，包括：

启动多个第二并行执行流程，每个所述第二并行执行流程中通过执行所述计算图对应的所述处理流程实例对所述视频中的视频帧进行处理。

进一步地，每个所述第二并行执行流程中通过执行所述计算图对应的所述处理流程实例对所述视频中的视频帧进行处理，包括：

基于所述计算图中的所述依赖关系，从所述计算图的第一个处理节点开始调用所述处理节点对应的所述可执行实体，以便由所述可执行实体对所述视频帧进行处理。

进一步地，每个所述第二并行执行流程中通过执行所述计算图对应的所述处理流程实例对所述视频中的视频帧进行处理，还包括：

在调用完成所述计算图中的所有处理节点对应的所述可执行实体后，接收下一视频帧，并针对所述下一视频帧调用所述计算图中的所述处理节点对应的所述可执行实体。

进一步地，基于所述计算图中的所述依赖关系，从所述计算图的第一个处理节点开始调用所述处理节点对应的所述可执行实体，包括：

响应于针对当前处理节点对应的所述可执行实体的调用请求，在所述当前处理节点的所述可执行实体处于可执行状态时，将所述当前处理节点的所述可执行实体放入执行队列，以等待执行；