[发明专利]一种图像超分重建方法、图像超分重建装置及移动终端

说明书

本申请公开了一种图像超分重建方法、图像超分重建装置、移动终端及计算机可读存储介质，其中，该方法包括：在获取到低分辨率的连续N帧YUV图像后，提取得到N帧亮度图像及N帧色度图像，并对N帧亮度图像依次进行锐度估计、图像配准及基于神经网络的图像重建操作，同时还对N帧色度图像进行图像重建操作，并将重建后的色图图像与亮度图像融合在一起，得到目标YUV图像。通过本申请方案，将神经网络作为图像重建的主体，可以有效的抵御因图像配准误差而带来的鬼影、纹理模糊及其他人工伪像，保障了重建图像的图像质量。

技术领域

本申请属于图像处理技术领域，尤其涉及一种图像超分重建方法、图像超分重建装置、移动终端及计算机可读存储介质。

背景技术

由于多帧图像在拍照过程中存在亚像素位移，这使得多帧图像包含了更高分辨率的信息，基于此，当前已提出基于多帧图像的超分辨率重建方法。现有的超分辨率重建方法一般包括图像配准和融合重建这两个主要步骤，其中，图像配准的质量决定后续的融合重建操作是否能够准确利用多帧图像所包含的高分辨率的信息。然而，由于图像配准往往计算量庞大，且极易受运动模式(例如手抖)和图像质量的影响，这将不可避免产生配准误差，而配准误差又将转换为重建误差，使得最终所得的重建图像的质量受到制约。

发明内容

有鉴于此，本申请提供了一种图像超分重建方法、图像超分重建装置、移动终端及计算机可读存储介质，可以有效抵御因图像配准误差而带来的鬼影、纹理模糊及其他人工伪像，保障重建图像的图像质量。

本申请的第一方面提供了一种图像超分重建方法，包括：

获取低分辨率的连续N帧YUV图像，其中，N为大于1的正整数；

提取每一帧YUV图像所对应的亮度图像及色度图像，得到N帧亮度图像及N帧色度图像；

在上述N帧亮度图像中，根据各帧亮度图像的锐度确定上述N帧亮度图像中的参考帧，记为亮度参考帧；

将上述亮度图像中除上述亮度参考帧之外的其它帧与上述亮度参考帧进行图像配准，得到各个其它帧相对于上述亮度参考帧的偏移量；

基于各个其它帧相对于上述亮度参考帧的偏移量，通过已训练的神经网络对上述N帧亮度图像进行融合，得到高分辨率的目标亮度图像；

基于色度参考帧，对上述N帧色度图像进行插值处理，得到高分辨率的目标色度图像，其中，上述色度参考帧为上述N帧色度图像中，与上述亮度参考帧相关联的色度图像；

根据上述目标亮度图像及上述目标色度图像合成得到目标YUV图像。

本申请的第二方面提供了一种图像超分重建装置，包括：

图像获取单元，用于获取低分辨率的连续N帧YUV图像，其中，N为大于1的正整数；

图像提取单元，用于提取每一帧YUV图像所对应的亮度图像及色度图像，得到N帧亮度图像及N帧色度图像；

亮度参考帧确定单元，用于在上述N帧亮度图像中，根据各帧亮度图像的锐度确定上述N帧亮度图像中的参考帧，记为亮度参考帧；

亮度图像配准单元，用于将上述亮度图像中除上述亮度参考帧之外的其它帧与上述亮度参考帧进行图像配准，得到各个其它帧相对于上述亮度参考帧的偏移量；

亮度图像重建单元，用于基于各个其它帧相对于上述亮度参考帧的偏移量，通过已训练的神经网络对上述N帧亮度图像进行融合，得到高分辨率的目标亮度图像；

色度图像重建单元，用于基于色度参考帧，对上述N帧色度图像进行插值处理，得到高分辨率的目标色度图像，其中，上述色度参考帧为上述N帧色度图像中，与上述亮度参考帧相关联的色度图像；

图像融合单元，用于根据上述目标亮度图像及上述目标色度图像合成得到目标YUV图像。