[发明专利]基于多分支卷积神经网络的压缩视频超分辨率重建方法

说明书

本发明公开了一种基于多分支卷积神经网络的压缩视频超分辨率重建方法，对每一帧待处理的图像，以块处理的形式在间隔相近的帧内编码帧中搜索近似块，由近似块形成对应当前待处理图像的预测图像，分别以预测图像和待处理图像作为各个分支网络的输入，且融合这些分支网络的输出作为最终的高分辨率重建结果。本发明提供的采用多分支卷积神经网络的压缩视频超分辨率重建方法能够有效地利用视频序列所存在的帧间冗余信息，特别地，利用压缩视频中的帧内编码帧具有较好视觉质量的特点，从而使得重建的超分辨率图像具有更好的质量。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于多分支卷积神经网络的压缩视频超分辨 率重建方法。

背景技术

随着高分辨率显示设备的不断普及和新的视频应用的持续涌现，市场对4K或8K等超高 清视频的需求越来越多。与此同时，作为公共资源的网络带宽的增长始终无法跟上传输高质 量视频要求的步伐。在上述背景下，视频图像超分辨率重建可作为一种图像增强技术运行于 解码端，从而为上述矛盾提供了一种可行的解决方案。

中国专利CN101345870B公开了一种通过编码装置利用带超分辨率重构的预解码闭环 反馈构造出少量的超分辨率重构辅助码流，同时利用编码模块中的人眼感兴趣分析模块，进 一步地对解码端的超分辨率重构进行引导和矫正，以提高视频解码输出的分辨率和主观质量。 中国专利CN103475876B公开了一种基于学习的低比特率压缩图像超分辨率重建方法，该方 法的离线部分将低分辨率图像按其失真程度分类建立样本库，对每类样本训练各自的超分辨 率模型；在线部分则判别输入图像的失真类别，选取不同的模型实现超分辨率重建。中国专 利CN101605260B公开了一种基于最大后验概率估计MAP的压缩视频超分辨率重建方法， 将MAP重建代价函数定义为重建误差项、包含量化前DCT系数分布参数的正则约束项和一 般约束项三个部分，通过引入DCT系数分布模型提高压缩视频超分辨率重建的质量。

与单帧图像和视频图像超分辨率重建不同，压缩视频图像超分辨率重建系统以存在压缩 损失的图像为输入。有损视频压缩编码系统中的量化过程将引入量化误差，这种误差更多地 表现为频率域高频成分的损失，使得压缩后的图像呈现出细节丢失、边缘模糊等特点。以这 些存在细节丢失、边缘模糊等缺陷的低分辨率图像为输入重建高分辨率图像，势必将对超分 辨率重建系统提出更大的挑战。

发明内容

本发明的目的在于充分利用视频序列的帧间冗余信息，特别地，利用压缩视频中的帧内 编码帧具有较好的视觉质量的特点，提供一种基于多分支卷积神经网络的压缩视频超分辨率 重建方法。

本发明具体采用的技术方案如下：一种基于多分支卷积神经网络的压缩视频超分辨率重 建方法，该方法具体步骤如下

(1)用于压缩视频超分辨率重建的多分支卷积神经网络包括三个分支，其中第二分支网 络Sub-B和第三分支网络Sub-C以压缩视频的当前解码帧I为输入；以间隔帧数为依据，在 位于I帧之前和之后的两个帧内编码帧中选择离I帧相对较近的作为参考图像，以块处理的 形式对当前解码帧I中每一个块图像在参考图像中寻找具有最大相似度的块，由这些相似块 构成重建图像，作为第一分支网络Sub-A的输入；

(2)第一分支网络和第二分支网络具有相同的结构，按数据前向传播时的数据流向，输 入数据首先经过一个包含32个3×3卷积核、卷积步长为1的卷积层，接在上述卷积层之后的 为依次连接的N个残差块；第一分支网络的最后一个残差块的输出特征图和第二分支网络的 最后一个残差块的输出特征图经通道合并操作形成一个包含2N_C个通道的特征图，其中第一 分支网络和第二分支网络的输出特征图的通道数各为N_C；

(3)步骤(2)中所述经通道合并形成的特征图，经过一个包含r²个3×3卷积核、卷积 步长为1的卷积层，经卷积运算产生的输出以周期筛选的方式得到上采样的图像H₁，其中r为 上采样因子；