[发明专利]一种图像处理方法及电子设备

说明书

本发明公开了一种图像处理方法，包括：获取三个时间相邻的视频帧，对三个时间相邻的视频帧分别进行插值处理得到三个第一分辨率图像；对每一第二分辨率图像进行下采样处理得到对应的第三分辨率图像和第四分辨率图像；构建每一视频帧的光流计算模型，光流计算模型的第一层为第一分辨率图像，第二层为第二分辨率图像，第三层为第三分辨率图像，第四层为第四分辨率图像；利用每一光流计算模型计算出相邻的两个光流计算模型之间的光流；对两个光流和三个第二分辨率图像进行运算以得到一个多通道图像；对所述多通道图像进行运算，并利用参照图像得到高分辨率图像。本发明还公开一种电子设备，本发明可以提升图像超分辨重建的效果。

技术领域

本发明涉及图像处理领域，尤其涉及一种图像处理方法及电子设备。

背景技术

视频超分辨率重建技术中，首先需要对各帧图像进行运动估计从而进行图像配准，使得各帧图像之间的相似度最大，再采用训练图像构建模型进行超分辨率重建。现有的对各帧图像进行运动估计的方法多是通过计算光流来进行运动估计，但是一般是用低分辨率的光流来提供前后相邻帧之间分辨率点对应的位置关系，由于各帧之间的运动估计精度不高，使得相邻帧之间运动补偿的效果不好，会直接影响图像重建，达不到预期的效果。

发明内容

为了克服现有技术的不足，本发明的目的在于解决现有的视频超分辨率重建技术中的运动估计精度不高，影响图像重建效果的问题。

为了实现上述目的，本发明提供一种图像处理方法，包括：

获取三个时间相邻的视频帧，对三个时间相邻的视频帧分别进行插值处理得到三个第一分辨率图像；其中，所述三个时间相邻的视频帧为三个第二分辨率图像，用于作为低分辨率输入图像；所述第一分辨率图像的分辨率高于所述第二分辨率图像的分辨率，且所述第二分辨率图像是由分辨率高于所述第二分辨率图像的三帧参照图像进行下采样得到的；

对每一所述第二分辨率图像进行下采样处理得到对应的第三分辨率图像和第四分辨率图像，每一所述第二分辨率图像的分辨率高于对应的所述第三分辨率图像的分辨率，每一所述第三分辨率图像的分辨率高于对应的所述第四分辨率图像的分辨率；

构建每一所述视频帧的光流计算模型，所述光流计算模型的第一层为所述第一分辨率图像，第二层为所述第二分辨率图像，第三层为所述第三分辨率图像，第四层为所述第四分辨率图像；

利用每一所述光流计算模型计算出三个光流计算模型中时间相邻的两个光流计算模型之间的光流，所述光流的数量为两个；

对两个所述光流和三个所述第二分辨率图像进行运算以得到一个多通道图像；

对所述多通道图像进行运算，并利用所述参照图像得到高分辨率图像。

进一步地，对每一所述第二分辨率图像进行下采样处理得到对应的第三分辨率图像和第四分辨率图像包括：

对每一所述第二分辨率图像进行下采样得到所述第三分辨率图像；

对每一所述第三分辨率图像进行下采样得到所述第四分辨率图像。

进一步地，利用每一所述光流计算模型计算出三个光流计算模型中时间相邻的两个光流计算模型之间的光流包括：

设定第一计算参数，计算所述光流计算模型的第四层的第一光流值；

利用所述第一光流值计算出所述光流计算模型的第三层的第二光流值；

利用所述第二光流值计算出所述光流计算模型的第二层的第三光流值；

利用所述第三光流值计算出所述光流计算模型的第一层的第四光流值，将所述第四光流值作为所述光流。

进一步地，所述方法还包括：

利用所述光流和对应的所述第二分辨率图像优化所述第一计算参数。