[发明专利]一种基于注意力机制深度循环网络的旧电影闪烁修复方法

摘要

一种基于注意力机制深度循环网络的旧电影闪烁修复方法涉及数字图像处理方法，算法包括离线部分和在线部分。离线部分由训练数据处理、闪烁修复的注意力深度循环网络框架搭建和训练组成，在线部分则是图像闪烁修复。网络由注意力机制层、卷积下采样层、残差块层、ConvLSTM层以及反卷积上采样层这5种层结构组成。并且每个卷积层之后都加入批正则化层和修正线性单元作为激活函数，最后一个反卷积层加入双曲正切函数(tanh)作为激活函数，另外在编码器模块中间加入5组残差块和ConvLSTM层，其中每组残差块中包含2个卷积层和1个Relu激活函数。本发明使时序亮度曲线变化的平缓趋势显著，使闪烁得到较好的修复。

主权项

1.一种基于注意力机制深度循环网络的旧电影闪烁修复方法，包括离线部分和在线部分；其特征在于，离线部分由训练数据处理、闪烁修复的注意力深度循环网络框架搭建和训练组成，在线部分则是图像闪烁修复；/n所述的离线部分，具体内容如下：/n(1)训练数据处理/n训练集包括各种运动的物体以及不同的运动类型；/n采用的测试数据集，包括旧电影视频资料；/n(2)闪烁修复的注意力深度循环网络框架搭建和训练/n在基于注意力机制的图像转换网络中，输入为待处理图像的相邻5帧，分别是I_t-4、I_t-3、I_t-2、I_t-1、I_t，以及输出修复帧的前一帧O_t-1，经过一个以基于注意力机制的编解码网络为主体的图像转换网络，通过在线训练的方式产生对应输出帧，并且在每一个时间步骤中，网络根据注意力机制得出每一输入帧所占权重，学习生成输出帧O_t，然后再将当前的输出帧作为下一时间步骤的输入帧；/n采用的深度神经网络模型包含5种不同层结构，分别为注意力机制层、卷积下采样层、残差块层、ConvLSTM层以及反卷积上采样层；/n网络的注意力层含有一个平均池化层、两个卷积层、修正线性单元ReLU激活函数和softmax激活函数；其中，卷积层分别使用7×7和3×3的卷积核；/n在卷积下采样层中，使用5个卷积层，其中将的输入图像和上一个时间步输出图像这两个分支输入进行并行处理，首先分别经过一个使用7×7的卷积核的卷积层以及relu激活函数，之后再分别经过一个使用3×3的卷积核的卷积层以及relu激活函数，再将这两个分支得到的特征图进行聚合，经过第三个卷积核为3×3的卷积层以及relu激活函数；/n在残差块层中，使用5个残差块进一步提取特征，每个残差块包括两个卷积核为3×3的卷积层以及relu激活函数；/n在ConvLSTM层中使用了LSTM网络的结构，但是采用卷积计算代替Hadmard乘法，即使用LSTM建立输入序列的时序关系，且使用卷积神经网络CNN描述图像的空间特征；/n在反卷积上采样层中，采用了3个卷积核为3×3的反卷积层、2个relu激活函数以及1个tanh激活函数；最终得到修复后的输出结果图像；/n将处理过的数据集通过该网络进行训练，设定训练的迭代次数数，并将每轮训练得到模型保存到文件中；/n所述的在线部分，具体内容如下：/n图像闪烁修复/n利用训练得到的模型对带有亮度闪烁现象的图像序列进行修复，得到闪烁修复后的图像；使用基于注意力机制深度循环网络的闪烁修复方法进行闪烁修复，再得到输出闪烁修复后的图像。/n