[发明专利]一种由粗到细地融合时空信息的压缩视频质量增强方法

权利要求书

1.一种由粗到细地融合时空信息的压缩视频质量增强方法，其特征在于，所述方法基于的网络结构包括：粗略融合模块、多级残差融合模块、D2D融合模块、重建模块；低质量压缩视频帧序列经粗略融合模块后得到粗略的融合特征图，所述粗略的融合特征图经多级残差融合模块后得到全局和局部的精细融合特征；根据全局和局部的精细融合特征来联合预测所有用于对齐的可变形偏移，D2D融合模块根据可变形偏移得到对齐后的融合特征图，对齐后的融合特征图经重建模块后得到重建结果。

2.根据权利要求1所述的一种由粗到细地融合时空信息的压缩视频质量增强方法，其特征在于，所述粗略融合模块包括：多个伴随激活函数的C3D与瓶颈卷积，这多个伴随激活函数的C3D用于提取低质量压缩视频帧序列中的时空信息；瓶颈卷积从时间维度上融合提取出的时空信息，得到粗略的融合特征图。

3.根据权利要求2所述的一种由粗到细地融合时空信息的压缩视频质量增强方法，其特征在于，所述多级残差融合模块包括并行的三级，分别记为L1级、L2级、L3级，所述L1级包括一个残差块；L2级包括下采样块、多个残差块以及上采样块；L2级包括两个下采样块、多个残差块以及两个上采样块；

L1级中残差块的第一输入为粗略的融合特征图，第二输入为L2级中第一个残差块的输出，该残差块的输出作为L1级的输出结果；

L2级中粗略的融合特征图经下采样块后作为其第一个残差块的第一输入，所述第一个残差块的第二输入为L3级中第一个残差块的输出，其最后一个残差块的输出作为上采样块的输入，上采样块的输出作为L2级的输出结果；

L3级中粗略的融合特征图经两个下采样块后输入至其第一个残差块，其最后一个残差块的输出经两个上采样块进行处理后的输出作为L3级的输出结果；

还包括卷积块，将L1级的输出结果、L2级的输出结果、L3级的输出结果相加后输入到该卷积块中，提取全局和局部的精细融合特征。

4.根据权利要求1所述的一种由粗到细地融合时空信息的压缩视频质量增强方法，其特征在于，D2D融合模块采用调制可变形卷积得到对齐的融合特征图。

5.根据权利要求1所述的一种由粗到细地融合时空信息的压缩视频质量增强方法，所述重建模块的实现过程为：将经D2D融合模块对齐后的融合特征图输入到重建模块得到增强残差将增强残差与当前帧逐元素相加而得到重建帧

6.根据权利要求1所述的一种由粗到细地融合时空信息的压缩视频质量增强方法，其特征在于，所述网络结构采用端到端的方式进行训练。

7.根据权利要求5所述的一种由粗到细地融合时空信息的压缩视频质量增强方法，其特征在于，训练采用的损失函数为：

其中，表示原始帧，表示当前迭代的重建结果，||·||₂表示2范数。