[发明专利]图像处理方法和装置、电子设备及存储介质

说明书

本申请实施例公开了一种图像处理方法和装置、电子设备及存储介质，其中方法包括：获取图像帧序列，包括待处理图像帧以及与待处理图像帧相邻的一个或多个图像帧，并对待处理图像帧与图像帧序列中的图像帧进行图像对齐，得到多个对齐特征数据；基于多个对齐特征数据确定多个对齐特征数据与所述待处理图像帧相应的对齐特征数据之间的多个相似度特征，并基于多个相似度特征确定多个对齐特征数据中每个对齐特征数据的权重信息；根据每个对齐特征数据的权重信息对多个对齐特征数据进行融合，获得图像帧序列的融合信息，用于获取与待处理图像帧对应的处理后图像帧，可以提升图像处理中多帧对齐和融合的质量，增强图像处理的显示效果。

技术领域

本申请涉及计算机视觉技术领域，具体涉及一种图像处理方法和装置、电子设备及存储介质。

背景技术

视频复原是从一系列低质量的输入帧恢复得到高质量输出帧的过程。但是，低质量的帧序列中已经损失了要恢复出高质量帧的必要信息。视频复原的主要任务包括视频超分辨率、视频去模糊、视频去噪等。

视频复原的流程往往包括四个步骤：特征提取、多帧对齐、多帧融合和重建，其中多帧对齐和多帧融合是视频复原技术的关键。对于多帧对齐，目前常采用基于光流的算法，不仅耗时较长而且效果不好，特别是当输入帧有遮挡、运动，并且模糊严重的情况下，而进一步的，基于上述对齐后的多帧融合质量也不够好，可能出现复原上的误差，可见目前多帧对齐和多帧融合的准确度不高，视频复原效果不佳。

发明内容

本申请实施例提供了一种图像处理方法和装置、电子设备及存储介质。

本申请实施例第一方面提供一种图像处理方法，包括：

获取图像帧序列，所述图像帧序列包括待处理图像帧以及与所述待处理图像帧相邻的一个或多个图像帧，并对所述待处理图像帧与所述图像帧序列中的图像帧进行图像对齐，得到多个对齐特征数据；

基于所述多个对齐特征数据确定所述多个对齐特征数据与所述待处理图像帧相应的对齐特征数据之间的多个相似度特征，并基于所述多个相似度特征确定所述多个对齐特征数据中每个对齐特征数据的权重信息；

根据所述每个对齐特征数据的权重信息对所述多个对齐特征数据进行融合，获得所述图像帧序列的融合信息，所述融合信息用于获取与所述待处理图像帧对应的处理后图像帧。

在一种可选的实施方式中，所述对所述待处理图像帧与所述图像帧序列中的图像帧进行图像对齐，得到多个对齐特征数据包括：

基于第一图像特征集以及一个或多个第二图像特征集，对所述待处理图像帧与所述图像帧序列中的图像帧进行图像对齐，得到多个对齐特征数据，其中，所述第一图像特征集包含所述待处理图像帧的至少一个不同尺度的特征数据，所述第二图像特征集包含所述图像帧序列中的一个图像帧的至少一个不同尺度的特征数据。

通过不同尺度的图像特征进行图像对齐来获得对齐特征数据，能够解决视频复原中的对齐问题，提升多帧对齐的精度，特别是输入图像帧中存在复杂和较大的运动、遮挡和/或模糊的情况。

在一种可选的实施方式中，所述基于第一图像特征集以及一个或多个第二图像特征集，对所述待处理图像帧与所述图像帧序列中的图像帧进行图像对齐，得到多个对齐特征数据包括：

获取所述第一图像特征集中尺度最小的第一特征数据，以及所述第二图像特征集中与所述第一特征数据的尺度相同的第二特征数据，将所述第一特征数据和所述第二特征数据进行图像对齐，获得第一对齐特征数据；

获取所述第一图像特征集中尺度第二小的第三特征数据，以及所述第二图像特征集中与所述第三特征数据的尺度相同的第四特征数据；对所述第一对齐特征进行上采样卷积，获得与所述第三特征数据的尺度相同的第一对齐特征数据；

基于所述上采样卷积后的第一对齐特征数据，将所述第三特征数据和所述第四特征数据进行图像对齐，获得第二对齐特征数据；