[发明专利]图像处理方法、视频处理方法、装置以及电子设备

说明书

本公开关于一种图像处理方法、视频处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。方法通过获取待处理图像和参考图像，分别对对待处理图像和参数图像进行区域划分，从而得到与待处理图像对应的多个第一像素块，以及得到与参考图像对应的多个第二像素块，并确定多个像素块对，获取像素块对的对齐矩阵，将第一像素块变换到第二像素块中，得到对第一像素块变换后的目标像素块，进而根据每个第一像素块变换后的目标像素块，得到待处理图像的目标图像。由于本实施例通过对图像进行区域划分，并对每个区域进行对齐矩阵估计，进而对每个区域进行对齐处理，从而可以以较小的计算开销、鲁棒的进行图像对齐，并在直观上提高对齐效果。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、视频处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。

背景技术

随着移动端设备的存储能力和计算能力的提升，视频成为人们传播信息的常用载体。为了帮助用户更便捷的记录、创作和使用视频，一些面向视频的AI(ArtificialIntelligence，人工智能)算法逐渐诞生。例如帮助用户搜索视频的检索算法、提升视频质量的增强算法、检测视频中物体的检测算法等。

相关技术中，这些AI算法大多是将视频先拆解为一系列图像帧，然后利用帧间的互补信息得到强有力的特征用于后续任务。但是，这些算法大部分都采用了卷积神经网络，又由于受限于卷积核的局部性感受野大小，当相邻帧存在大幅度的不对齐时，网络很难提取到前后帧的互补特征。因此对齐算法往往会被当作不可或缺的前处理算法放在AI算法的前端。目前的图像对齐算法主要分为两类，一类是基于光流对齐的神经网络算法；另一类是基于单应矩阵对齐的传统算法。

然而，由于基于光流对齐的神经网络算法遵循了像素级别的精确对齐，因此，其面临了庞大的计算开销和对齐后的伪影。而基于单应矩阵对齐虽然可以较少引入额外的计算开销，但是，由于其对全图采用唯一的单应矩阵来描述运动，从而会导致误差。因此，目前对图像处理的对齐算法存在计算开销大以及对齐效果不理想的问题。

发明内容

本公开提供一种图像处理方法、视频处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，以至少解决相关技术中图像对齐效果不理想的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：

获取待处理图像和用于对所述待处理图像进行对齐的参考图像；

对所述待处理图像进行区域划分，得到与所述待处理图像对应的多个第一像素块，以及对所述参考图像进行区域划分，得到与所述参考图像对应的多个第二像素块；

根据所述多个第一像素块与所述多个第二像素块，确定多个像素块对，所述像素块对包括具有对应关系的第一像素块和第二像素块；

获取所述像素块对的对齐矩阵，将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块；

根据每个所述第一像素块变换后的目标像素块，得到所述待处理图像的目标图像。

在其中一个实施例中，所述获取所述像素块对的对齐矩阵，将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块，包括：对所述像素块对中的第一像素块和第二像素块进行特征匹配处理，根据特征匹配结果构建所述像素块对的对齐矩阵；根据所述像素块对的对齐矩阵将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块。