[发明专利]基于卷积神经网络的老电影超分辨系统

说明书

一种基于卷积神经网络的老电影超分辨系统，属于数字图像处理与深度学习领域。本发明针对现有老电影修复中，只能单一的进行超分处理或斑块处理，修复效果差的问题。包括：平滑模块，用于对相邻前k帧图像、当前帧图像和相邻后k帧图像进行特征提取，获得所有帧输入图像的中低频全局退化特征；特征提取模块用于进行特征提取，得到每帧输入图像的提取后特征；PCD模块对每组图像进行对齐操作；时间注意力模块用于获得当前帧图像的融合后高频特征；重建模块用于获得当前帧图像的重建后特征；最后通过相加单元获得当前帧图像的高清修复图像。本发明在实现超分的同时，改善了老电影存在的斑块问题。

技术领域

本发明涉及基于卷积神经网络的老电影超分辨系统，属于数字图像处理与深度学习领域。

背景技术

老电影作为一种早期的艺术形式，记录了早年社会的面貌，是宝贵的文化遗产和不可或缺的史实资料。为了使其在当今时代绽放价值，拉近与大众的距离，需要对其进行高清化修复，以满足观众对画质的要求。图像超分辨(Super-Resolution,SR，以下简称“超分”)是图像复原的子任务，目的是将输入的分辨率较低的(Low-Resolution，LR)图像或图像序列，处理为分辨率高的(High-Resolution，HR)图像或图像序列，处理后的图像细节信息更为饱满丰富、细腻清晰。

2015年提出的SRCNN首次将卷积神经网络(Convolutional Neural Network，CNN)应用在了图像超分领域，仅使用三个卷积层便有了十分优秀的表现。在此基础上改进的FSRCNN，在网络的末端加入了反卷积层用于放大图像尺寸，因而可以直接输入LR图像而不必先通过双三次插值法放大图像尺寸，运算速度和生成图像质量都得以提升。VDSR采用残差结构，将网络的深度拓展到20层，以带来更好的效果。ESPCN引入亚像素卷积层来代替上采样操作，大大减小了计算开销，该结构在后来的算法中得到广泛应用。与单帧超分(Single Image Super-Resolution，SISR)相比，视频超分(Video Super-Resolution，VSR)可以使用多帧的信息，理论上性能更出色，但这依赖于视频帧之间的准确对齐。TDAN第一次在超分任务中采用可变形卷积(Deformable Convolution)进行对齐，避免了基于光流的方法所采用的两阶段过程。2019年的EDVR算法借鉴了TDAN的可变形卷积对齐方式，并在此基础上提出了PCD(Pyramid，Cascading and Deformable)对齐模块，以从粗到细的运算过程提升了对齐的精度，能成功处理剧烈复杂的运动。

然而，电影胶片介质十分脆弱，反复放映会造成物理磨损，多年存放易产生霉变和化学腐蚀；附着在胶片表面的灰尘、毛发、植物纤维等污染物也会留下噪点、污渍等。这些问题在画面中可表现为斑块(Blotch)，呈现出任意的大小、颜色、形状和分布位置，且在时序上有不连续性，即同样的斑块不会出现在连续的两帧上。如果直接对老电影进行超分处理，画面上存在的斑块会干扰帧间对齐，且在输出图像中也会被同步放大，影响图像质量。

针对斑块问题，早期的修复方式多为简单的滤波方法，例如中值滤波、多级中值滤波、LUM滤波、拓扑中值滤波等。1998年，Kokaram提出了一种特殊的二级中值滤波ML3Dex，不仅将每个位置8邻域内的像素纳入计算范围，也利用了前后帧的信息。2008年，Jain和Seung将CNN用于处理图像去噪问题，与传统的小波变换和马尔科夫随机场(Markov RandomField，MRF)方法相比有更好的去噪效果。后来，DnCNN等更深层的图像去噪方法开始流行，但大都只针对简单的高斯噪声，针对老电影修复任务的深度学习方法较少，深度学习的成果未得到充分的利用。2019年，Iizuka等人提出一种老电影上色方法，其中预处理模块由3D卷积层构成，对电影斑块的修复能力超过DnCNN。这些算法体现了CNN在图像去噪、老电影去斑块任务中的巨大潜力。

然而，不论是对于超分问题还是斑块问题而言，现有技术一般只能完成单一的任务，缺少老电影高清化修复的综合解决方案。

发明内容