[发明专利]一种基于注意力机制深度循环网络的旧电影闪烁修复方法

说明书

一种基于注意力机制深度循环网络的旧电影闪烁修复方法涉及数字图像处理方法，算法包括离线部分和在线部分。离线部分由训练数据处理、闪烁修复的注意力深度循环网络框架搭建和训练组成，在线部分则是图像闪烁修复。网络由注意力机制层、卷积下采样层、残差块层、ConvLSTM层以及反卷积上采样层这5种层结构组成。并且每个卷积层之后都加入批正则化层和修正线性单元作为激活函数，最后一个反卷积层加入双曲正切函数(tanh)作为激活函数，另外在编码器模块中间加入5组残差块和ConvLSTM层，其中每组残差块中包含2个卷积层和1个Relu激活函数。本发明使时序亮度曲线变化的平缓趋势显著，使闪烁得到较好的修复。

技术领域

本发明涉及数字图像处理方法，特别涉及一种基于注意力机制深度循环网络的旧电影闪烁修复方法。

背景技术

在传统亮度闪烁修复的研究中，许多研究者提出了较为有效的算法，这些算法步骤是首先建立闪烁模型，然后估计该线性烁修复关键是建立对应的数学模型，但是造成亮度闪烁的原因很多，如果对于每个因素都建立对应的模型，将带来十分庞大的工作量且难以实现。

传统的亮度闪烁修复算法首先进行闪烁模型的选择，之后估计闪烁模型参数，利用待修复帧构建亮度调整的迭代算法，并使用迭代算法和闪烁模型生成修复帧。将修复帧和闪烁帧进行加权融合，使前后帧静止区域亮度差波动较小，获得修复亮度闪烁的图像。

平均灰度值的方法首先计算图像序列中所有帧的平均灰度值，之后对每一帧与平均值的差值进行补偿，以修复亮度闪烁。这种算法十分简单且直接。但是传统算法的修复效果比较粗糙，且没有反映出亮度闪烁参数在空间上变化的特性，因此存在难以消除时间序列中闪烁不均匀的问题。

视频时间一致性算法采用自编码结构的图像转换网络，将待处理的视频帧序列依次输入到网络中，输出经过网络重建的修复帧。该方法通过最小化输出帧从光流网络中计算出的短期和长期时间损失，并采用感知损失来训练网络。另外，在图像转换网络中还嵌入一个卷积长短时记忆(ConvLSTM)层，用来捕捉自然视频的时空相关性。网络按顺序处理视频帧，并且可以应用在不限制长度的视频中。但是，此方法没有考虑到输入帧序列与输出帧的相关性，导致修复后的视频序列依然会有部分闪烁现象残留，因此该方法尚存在性能提升空间。

发明内容

本发明的目的在于，提出一种基于注意力机制深度循环网络的旧电影闪烁修复方法，该方法将注意力机制引入到视频序列时序一致性网络中，动态确定输入视频序列对闪烁视频帧修复的重要性权重，提高闪烁修复性能。

本发明是采用以下技术手段实现的：

一种基于注意力机制深度循环网络的旧电影闪烁修复方法，整体流程图如附图1所示；算法主要包括离线部分和在线部分。离线部分由训练数据处理、闪烁修复的注意力深度循环网络框架搭建和训练组成，在线部分则是图像闪烁修复。

所述的离线部分，具体内容如下：

(1)训练数据处理

本发明使用训练集采用DAVIS-2017数据集，其中包括各种运动的物体以及不同的运动类型。另外还使用了本文自建的数据集，包括3段旧电影视频资料，分别为1963年的电影《冰山上的来客》、1965年的电影《苦菜花》和1963年的电影《怒潮》。其中每部电影都还有同等数量的添加闪烁帧。

实验采用的测试数据集，包括两段旧电影视频资料，分别为1996年的电影《泰坦尼克号》、和1980年的电影《海之恋》。这两部电影选取的是未修复版本，本身已含有闪烁现象，因此不需要人工添加闪烁。

(2)闪烁修复的注意力深度循环网络框架搭建和训练