[发明专利]图像重建方法、图像编解码方法以及相关设备

说明书

本发明公开了一种图像重建方法、图像编解码方法以及相关设备。该图像重建方法包括：获取输入图像；将输入图像分别输入超分辨率重建网络的全局残差连接分支和残差神经网络分支，以利用全局残差连接分支对输入图像进行上采样，获取输入图像的基础信息，并利用残差神经网络分支对输入图像进行重建处理，获取输入图像的残差信息；对基础信息和残差信息进行融合，生成输出图像，输出图像的分辨率高于输入图像的分辨率。通过上述方式，本发明能够提高超分辨率重建网络的性能，以有利于实现良好的超分辨率重建效果。

技术领域

本发明涉及视频编解码技术领域，特别是涉及一种超分辨重建方法、图像编码方法、图像解码方法、编码器、解码器、计算机可读存储介质。

背景技术

视频图像数据量比较大，通常需要对视频像素数据进行压缩形成视频码流，视频码流通过有线或者无线网络方式传输至用户端，再进行解码以供用户观看，在重建图像的像素后图像的分辨率较低，为此，将较低分辨率的图像重建至较高分辨率是图像处理领域中的重要需求之一，以能够提取到足够的信息。目前，由于现有的超分辨率重建技术设计不合理，容易导致图像重建质量较低。

发明内容

有鉴于此，本发明主要解决的技术问题是提供一种超分辨重建方法、图像编码方法、图像解码方法、编码器、解码器、计算机可读存储介质，能够提高超分辨率重建网络的性能，以有利于实现良好的超分辨率重建效果。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种图像重建方法，该图像重建方法包括：获取输入图像；将输入图像分别输入超分辨率重建网络的全局残差连接分支和残差神经网络分支，以利用全局残差连接分支对输入图像进行上采样，获取输入图像的基础信息，并利用残差神经网络分支对输入图像进行重建处理，获取输入图像的残差信息；对基础信息和残差信息进行融合，生成输出图像，输出图像的分辨率高于输入图像的分辨率。

在本发明的一实施例中，利用全局残差连接分支对输入图像进行上采样，获取输入图像的基础信息包括：利用至少一种上采样处理模块分别对输入图像进行上采样处理，得到各上采样处理模块对应的子基础信息，其中，至少一种上采样处理模块包括卷积神经网络和先验滤波器中的至少一者；基于各上采样处理模块对应的子基础信息，得到基础信息。

在本发明的一实施例中，各上采样处理模块对应的子基础信息包括卷积神经网络对应的第一子基础信息和先验滤波器对应的第二子基础信息；基于各上采样处理模块对应的子基础信息，得到基础信息，包括：加权融合第一子基础信息和第二子基础信息，得到基础信息。

在本发明的一实施例中，至少一种上采样处理模块包括卷积神经网络，卷积神经网络包括依次级联的特征提取层、第一卷积层以及归并排序层，利用卷积神经网络对输入图像进行上采样处理，得到第一子基础信息包括：利用特征提取层提取输入图像的特征；将特征提取层的输出作为第一卷积层的输入，进行卷积处理获取多个通道特征图；利用归并排序层融合多个通道特征图，得到第一子基础信息。

在本发明的一实施例中，至少一种上采样处理模块包括先验滤波器，先验滤波器包括重采样滤波器，利用先验滤波器对输入图像进行上采样处理包括：利用重采样滤波器对输入图像进行上采样插值滤波。

在本发明的一实施例中，输入图像包括亮度分量以及色度分量，对应亮度分量的抽头系数大于对应色度分量的抽头系数。

在本发明的一实施例中，在利用重采样滤波器对输入图像进行上采样插值滤波之前，方法包括：结合当前像素在输出图像的坐标值、输入图像的宽和输出图像的宽对重采样滤波器的行方向的滤波系数进行赋值；结合当前像素在输出图像的坐标值、输入图像的高和输出图像的高对重采样滤波器的列方向的滤波系数进行赋值。