[发明专利]一种循环可变形融合的压缩视频质量增强方法

权利要求书

1.一种循环可变形融合的压缩视频质量增强方法，其特征在于，包括下列步骤：

获取待处理的压缩视频帧序列X_t＝{x_t-R，...，x_t-1，x_t，x_t+1，...，x_t+R}，其中，x_t表示目标帧，压缩视频帧序列X_t中的非目标帧为参考帧x_i，R为指定的正整数；

依次遍历压缩视频帧序列X_t的参考帧x_i，将视频帧对(x_t，x_i)依次输入可变形对齐模块，所述可变形对齐模块为神经网络，用于融合目标帧x_t和参考帧x_i的时间信息得到对齐特征y_i，并将对齐特征y_i输入循环融合模块；

所述循环融合模块为神经网络，用于将循环融合模块在上一次执行时输出的隐藏状态特征h减去当前对应的对齐特征y_i，得到目标帧x_t待改进的特征u_i，并将特征u_i经第一卷积网络后再与隐藏状态特征h相加得到融合特征l_i，所述融合特征l_i经第二卷积网络产生循环融合模块输出的新的隐藏状态；其中，隐藏状态特征h的初始特征为：目标帧x_t经特征提取网络得到的目标帧的初始特征；所述循环融合模块循环执行2R次，得到2R个融合特征l_i；

将所有融合特征l_i在通道维度上拼接后，经1×1的卷积得到最终的融合特征F_fuse，并将融合特征F_fuse输入多尺度注意力重建模块；所述多尺度注意力重建模块为神经网络，用于预测村增强残差F_enc；

将增强残差F_enc和目标帧x_t逐元素相加得到目标帧x_t的增强帧

所述循环融合模块的第一卷积网络与第二卷积网络的网络结构相同，包括至少两层顺次连接的3×3的卷积；

所述多尺度注意力重建模块依次包括多个多尺度注意力块和一个3×3的卷积；

所述多尺度注意力重建模块的多尺度注意力块的网络结构相同，包括四个顺次连接的3×3的卷积，以及一个金字塔拆分注意力模块，前三个3×3的卷积后设置有非线性激活函数，所述金字塔拆分注意力模块用于将第四个卷积的输出特征在通道维度平均分为四组，每组使用不同大小卷积核进行卷积，并通过注意力机制模块预测每组的权重值，再通过Softmax对各组的权重值进行校准，得到多尺度通道校准后的权重值，将校准后的权重值与每组相应的特征图逐元素相乘，得到多尺度注意力块的输出。

2.如权利要求1所述的方法，其特征在于，所述可变形对齐模块依次包括两层3×3的卷积、至少一个U-net网络和一个可变形卷积，其中，第一个3×3的卷积的输入为视频帧对(x_t，x_i)，第一个3×3的卷积的输出分别与每个U-net网络的输入相连，且前一个U-net网络的输出与后一个U-net网络的输入相连，所有U-net网络的输出相加后接入第二个3×3的卷积，该第二个3×3的卷积的输出与可变形卷积的输入相连，且可变形卷积的输入还包括视频帧对(x_t，x_i)。

3.如权利要求2所述的方法，其特征在于，所述U-net网络的数量为2。

4.如权利要求1所述的方法，其特征在于，所述特征提取网络包括至少两层顺次连接的3×3的卷积。

5.如权利要求1所述的方法，其特征在于，所述多尺度注意力块的数量为7。

6.如权利要求1至5任一项所述的方法，其特征在于，采用端到端的方式联合训练获取增强帧的所有网络的网络参数，且训练时采用的损失函数为：其中，表示增强帧，X表示原始视频帧，∈表示预置的常数。

7.如权利要求6所述的方法，其特征在于，常数∈的取值为10^-6。