[发明专利]一种图像数据处理方法、装置、计算机设备及存储介质

说明书

本申请提供了一种图像数据处理方法、装置、计算机设备及存储介质，所述方法包括：从目标文件存储系统获取多个图像数据；所述图像数据携带有所述图像数据的数据量信息；将数据量信息大于或等于预设要求的第一图像数据的数据标识和数据量信息小于预设要求的第二图像数据缓存至数据通道；预先构建好的图像处理组件集从所述数据通道中获取待处理数据；若所述待处理数据为数据标识，则根据数据标识从本地存储库获取所述数据标识对应的第一图像数据，并对所述第一图像数据进行图像处理，得到第一图像处理结果。本申请所述方法，适用于高并发场景下的图像数据的处理，能够提高图像数据的处理效率。

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像数据处理方法、装置、计算机设备及存储介质。

背景技术

在工业乃至全行业领域内，数据平台所针对的核心还是结构化或半结构化数据，提供的基本都是数理类处理能力，大部分视频或图像数据，在企业内基本上就是汇集存储，在需要的时候应用单独开发对接集成，然后对获取的图像数据进行处理。

现有视频图像处理较为原始，现在业内缺乏成熟的视频图像数据处理系统，相较于数理类数据处理计算，在处理视频图像数据时，由于视频图像数据的数据量明显过大，如数理类单条数据基本几百b或者几kb，而单张图像的数据基本在几Mb，在传统的数理类数据处理时，数据通道采用内存进行过程数据缓存，通常缓存量支持高达百万条event以上，而若是图像数据的话，单张图像Mb以上的图像event最多支持千条左右，且短视频文件通常在几百MB或者GB级别，因此对高并发场景下的视频图像数据的处理极大地受缓存资源的限制，导致不能一次性处理高并发场景下的图像数据，影响图像数据的处理效率。

发明内容

有鉴于此，本申请实施例提供了一种图像数据处理方法、装置、计算机设备及存储介质，能够根据图像数据的数据量大小选择不同的缓存模式，适用于高并发场景下的图像数据的处理，提高图像数据的处理效率。

第一方面，本申请实施例提供了一种图像数据处理方法，包括以下步骤：

从目标文件存储系统获取多个图像数据；所述图像数据携带有所述图像数据的数据量信息；

将数据量信息大于或等于预设要求的第一图像数据的数据标识和数据量信息小于预设要求的第二图像数据缓存至数据通道；

预先构建好的图像处理组件集从所述数据通道中获取待处理数据；所述预先构建好的图像处理组件集是基于用户在多个候选图像组件中确定的；所述候选图像组件由图像算法封装而成；

若所述待处理数据为数据标识，则根据数据标识从本地存储库获取所述数据标识对应的第一图像数据，并对所述第一图像数据进行图像处理，得到第一图像处理结果；

若所述待处理数据为第二图像数据，则对所述第二图像数据进行图像处理，得到第二图像处理结果。

在一种可能的实施方式中，所述将数据量信息大于或等于预设要求的第一图像数据的数据标识和数据量信息小于预设要求的第二图像数据缓存至数据通道，包括：

将数据量信息表征的数据量大于或等于预设数值的第一图像数据存储至本地存储库；

根据所述第一图像数据在所述本地存储库中的存储地址，生成所述第一图像数据的数据标识；

将所述第一图像数据的数据标识缓存至数据通道；

将数据量信息表征的数据量小于预设数值的第二图像数据缓存至数据通道。

在一种可能的实施方式中，所述若所述待处理数据为数据标识，则根据数据标识从本地存储库获取所述数据标识对应的第一图像数据，包括：

根据所述数据标识，确定所述第一图像数据在所述本地存储库中的存储地址；

基于所述存储地址，获取所述数据标识对应的第一图像数据。