[发明专利]一种图像处理方法、装置、计算机设备以及存储介质

说明书

本公开提供了一种图像处理方法、装置、计算机设备以及存储介质，其中，该方法包括：获取当前图像帧，并获取当前图像帧的上一图像帧的图像处理结果；基于所述当前图像帧所属的视频片段确定所述当前图像帧的图像帧类型，其中，所述图像类型包括非关键帧或者关键帧；基于所述图像帧类型确定与所述当前图像帧相匹配的多个搜索维度的搜索范围，并基于所述搜索范围在预先训练的超网络中为所述当前图像帧搜索满足计算资源约束条件的图像处理模型，所述搜索维度包含：模型深度参数，卷积层参数；将所述当前图像帧和所述上一图像帧的图像处理结果输入至所述图像处理模型中进行处理，得到所述当前图像帧的图像处理结果。

技术领域

本公开涉及图像处理的技术领域，具体而言，涉及一种图像处理方法、装置、计算机设备以及存储介质。

背景技术

随着人工智能技术和智能终端设备的快速发展，在智能终端设备中越来越多的应用程序开始部署用于进行图像处理的神经网络模型，例如，姿态估计网络模型、人脸识别模型、图像分割网络模型等各种类型的网络模型。在现有的神经网络模型的图像处理方法中，通过神经网络模型对每个图像进行单独的处理。且在图像的数量为多个的情况下，用于对多个图像进行图像处理的神经网络模型的结构是相同。在该处理方式下，并未实现在图像之间合理分配计算资源，从而导致神经网络模型的处理精度无法满足实际应用需求。

发明内容

本公开实施例至少提供一种图像处理方法、装置、计算机设备以及存储介质。

第一方面，本公开实施例提供了一种图像处理方法，包括：获取当前图像帧，并获取当前图像帧的上一图像帧的图像处理结果；获取用于对当前图像帧进行处理的图像处理模型，并确定所述图像处理模型中的融合位置和融合方式；在所述图像处理模型提取所述当前图像帧的图像特征的过程中，按照所述融合方式将所述图像处理模型中位于所述融合位置之前的网络模块输出的图像特征和所述上一图像帧的图像处理结果进行融合，得到融合结果；将所述融合结果输入至所述图像处理模型中位于所述融合位置之后的网络模块进行图像处理，得到所述当前图像帧的图像处理结果。

在本公开实施例中，在对当前图像帧进行处理时，通过结合上一图像帧的图像处理结果，可以实现将上一图像帧中的信息传递至当前图像帧中，从而将上一图像帧的图像处理结果作为当前图像帧的引导信息，通过引导信息对当前图像帧进行图像处理，可以更好地抓住当前图像帧中的特征信息，从而得到准确的图像处理结果。针对每个待处理的当前图像帧，通过为其设置对应的图像处理模型，并在该图像处理模型中设置上一图像帧的图像处理结果的融合位置和融合方式，可以实现在图像帧内为待计算的数据合理的分配计算资源，从而提高图像处理模型的处理精度，得到准确性更高的图像处理结果。

一种可选的实施方式中，所述获取用于对当前图像帧进行处理的图像处理模型，包括：基于超网络确定用于对所述当前图像帧进行处理的图像处理模型；所述超网络包括多个具有连接关系的网络模块。

一种可选的实施方式中，基于超网络确定用于对所述当前图像帧进行处理的图像处理模型，包括：在所述当前图像帧所属的视频片段中确定包含所述当前图像帧的多个连续非关键帧；在预先训练的第一超网络中搜索满足第一计算资源约束条件的至少一个子网络模型组，其中，每个所述子网络模型组中包含为每个非关键帧搜索的第一子网络模型；基于所述至少一个子网络模型组确定用于对所述当前图像帧进行处理的图像处理模型。

上述实施方式中，通过在第一超网络中搜索满足第一计算资源约束条件的至少一个子网络模型组，进而根据该至少一个子网络模型组确定每个非关键帧所对应的图像处理模型的方式，可以实现在多个连续非关键帧所对应的图像处理模型满足整体计算资源约束(即，第一计算资源约束条件)的情况下，实现自动在多个连续非关键帧之间分配计算资源，从而实现图像处理方法的全局最优，以提高图像处理方法的处理准确度。