[发明专利]视频超分辨率处理方法及装置

说明书

本发明提供一种视频超分辨率处理方法及装置，通过获取视频的每一帧图像，将图像输入卷积神经网络；通过卷积神经网络对图像依次进行特征提取、特征降维、非线性映射以及向高维空间映射，获得超分辨率特征；并根据特征提取所得特征以及超分辨率特征进行重建，得到超分辨率图像；最后编码形成超分辨率视频码流。通过卷积神经网络实现对视频的超分辨率处理，通过特征降维、非线性映射以及向高维空间映射，减少计算复杂度，降低时间复杂度，并采用跳跃连接，降低网络的学习难度，保留输出图像的复杂纹理，从而在保证视频处理需要的实时性的同时，实现了较高的重建质量，在视频实时传输和压缩、视频修复等领域具有非常广阔的应用前景。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视频超分辨率处理方法及装置。

背景技术

目前人们对于视频质量，尤其是视频清晰度的需求与日剧增。由于目前硬件设备的限制，通常通过软件实现对图像和视频的超分辨率。视频超分辨率，指的是将一个低分辨率视频转化为一个高分辨率视频，这一问题在过去的很长一段时间内都一直吸引着许多研究者的关注，也提出了很多解决这一问题的模型。

现有技术中许多图像超分辨率方法都致力于找到一个低分辨率空间到高分辨率空间的映射关系，其中建模的手段包括马尔科夫随机场、邻域嵌入、稀疏编码等。这些方法推动了图像超分辨率问题研究的极大发展，也获得了很好效果。随着深度神经网络技术的发展，卷积神经网络被引入图像超分辨率领域，SRCNN(Super-Resolution ConvolutionalNeural Network)将稀疏编码方法各个步骤综合起来看做一个卷积神经网络，该方法不仅建立了一个端到端的重建网络，并且证明了深度学习方法可以应用于图像超分辨率重建中。

然而，上述方法一个显著的问题在于时间效率比较低，并且重建质量无法满足更高的精细度要求，这就大大限制了其在实际应用中的性能发挥，尤其是难以应用于对视频实时的超分辨率处理。

发明内容

本发明提供一种视频超分辨率处理方法及装置，以提高视频帧的超分辨率处理速度，从而保证视频处理需要的实时性，同时提高重建质量，满足更高的精细度要求。

本发明的一个方面是提供一种视频超分辨率处理方法，包括：

获取视频的每一帧图像，将所述图像输入卷积神经网络；

通过卷积神经网络对所述图像进行处理，所述处理包括：特征提取、特征降维、非线性映射以及向高维空间映射，以获得超分辨率特征；并根据特征提取所得的特征以及所述超分辨率特征进行重建，得到超分辨率图像；

对各所述超分辨率图像依次编码形成超分辨率视频码流。

进一步的，所述卷积神经网络中非线性映射部分设置有预定层数，以增加所述非线性映射部分的网络深度。

进一步的，所述将所述图像输入卷积神经网络前，还包括：

获取训练集，所述训练集包含多张测试图像和与每一所述测试图像对应的经降采样后所得的训练图像，所述训练图像的分辨率为所述测试图像的1/N，其中N为目标超分辨率倍数；

将所述训练图像输入所述卷积神经网络，通过所述卷积神经网络对所述训练图像依次进行特征提取、特征降维、非线性映射、向高维空间映射和重建步骤，得到输出图像；

获取所述输出图像与对应的测试图像之间像素值的均方差作为误差值，并采用将所述误差值反向传播至所述卷积神经网络的各层，以根据所述均方差更新各层的权值参数；

重复上述的训练步骤，直至所述卷积神经网络收敛。

进一步的，所述卷积神经网络中存在相邻层连接，并且存在跨层跳跃连接；

所述采用将所述误差值反向传播至所述卷积神经网络的各层，以根据所述均方差更新各层的权值参数，具体包括：