[发明专利]基于多分支卷积神经网络的压缩视频超分辨率重建方法

权利要求书

1.一种基于多分支卷积神经网络的压缩视频超分辨率重建方法，其特征在于：该方法具体步骤如下

(1)用于压缩视频超分辨率重建的多分支卷积神经网络包括三个分支，其中第二分支网络Sub-B和第三分支网络Sub-C以压缩视频的当前解码帧I为输入；以间隔帧数为依据，在位于I帧之前和之后的两个帧内编码帧中选择离I帧相对较近的作为参考图像，以块处理的形式对当前解码帧I中每一个块图像在参考图像中寻找具有最大相似度的块，由这些相似块构成重建图像，作为第一分支网络Sub-A的输入；

(2)第一分支网络和第二分支网络具有相同的结构，按数据前向传播时的数据流向，输入数据首先经过一个包含32个3×3卷积核、卷积步长为1的卷积层，接在上述卷积层之后的为依次连接的N个残差块；第一分支网络的最后一个残差块的输出特征图和第二分支网络的最后一个残差块的输出特征图经通道合并操作形成一个包含2N_C个通道的特征图，其中第一分支网络和第二分支网络的输出特征图的通道数各为N_C；

(3)步骤(2)中所述经通道合并形成的特征图，经过一个包含r²个3×3卷积核、卷积步长为1的卷积层，经卷积运算产生的输出以周期筛选的方式得到上采样的图像H₁，其中r为上采样因子；

(4)第三分支网络的输入经过一个包含r²个3×3卷积核、卷积步长为1的卷积层，该卷积层的输出以周期筛选的方式得到上采样的图像H₂，其中r为上采样因子；

(5)对上述经上采样的图像H₁和H₂进行逐个对应像素的求和运算，产生的输出作为结果图像，即为压缩视频图像的超分辨率重建后的图像。

2.根据权利要求1所述的基于多分支卷积神经网络的压缩视频超分辨率重建方法，其特征在于，所述以块处理的形式对当前解码帧中每一个块图像在参考图像中寻找具有最大相似度的块，由这些相似块构成重建图像，作为第一分支网络Sub-A的输入，具体过程包括：

2.1设当前解码图像的高和宽分别为H和W，初始化重建图像I_p的大小为H×W，且所有像素值为0，初始化权值矩阵C的大小为H×W且所有元素的初值为0；

2.2分别以s₁和s₂为扫描步长等间隔地从左到右、从上到下扫描参考图像和当前解码图像，在每个扫描位置(u,v)，以该位置为左上角，提取大小的图像块，对每个图像块减去其灰度均值，以行优先的形式转换成一个包含d个元素的行向量；来自参考图像的每个行向量加入到矩阵T，作为T中一行，来自当前解码图像的每个行向量加入到矩阵Q，作为Q中一行；

2.3对矩阵Q中的行向量q，以欧氏距离为相似性度量，以k-近邻算法在T中查找最为相似的行向量，记作t，若向量t和q的欧氏距离小于一个预先设定的阈值e，则依次取t中的个元素作为矩阵的一行，共行形成一个大小的矩阵，作为目标块，否则依次取q中的个元素作为矩阵的一行，共行形成大小的矩阵，作为目标块；目标块中每个像素值加上对应q的灰度均值；

2.4设矩阵Q中的行向量q所对应的图像块的扫描位置为(u,v)，按步骤2.3所得的目标块为b，则重建图像I_p中以(u,v)为左上角、大小为的子块，每个像素加上目标块中对应元素的值，权值矩阵C中以(u,v)为左上角、大小为的子块，每个元素值加1；

2.5对矩阵Q中的所有行向量重复步骤2.3和2.4，得到重建图像I_p；

2.6重建图像I_p中每个像素的值除以权值矩阵C中对应元素的值作为最终的重建图像。

3.根据权利要求1所述的基于多分支卷积神经网络的压缩视频超分辨率重建方法，其特征在于，所述第一分支网络和第二分支网络中依次连接的N个残差块，每个残差块具有相同的结构，包括两个卷积层和一个ReLU层，按数据前向传播时的流向，依次为包含128个3×3卷积核、卷积步长为1的卷积层，ReLU层和包含32个3×3卷积核、卷积步长为1的卷积层；设任意一个残差块的输入为x，上述两个卷积层和ReLU层将该输入映射为f(x)，最后以f(x)+x作为残差块的输出。