[发明专利]一种基于时空域残差生成对抗网络的视频湍流移除方法

权利要求书

1.一种基于时空域残差生成对抗网络的视频湍流去除方法，其特征在于：该方法步骤如下：

步骤一：由湍流移除网络G实现高质量湍流移除图像的生成

输入序列的时间和空间信息在三维视频序列处理单元中进行整合；随后利用包含多尺度卷积核的卷积层对整合得到的特征谱进行特征提取和降采样处理，并输入到串联的残差模块当中；最后利用全局残差连接将经过升采样得到的图像与输入序列中间帧图像相叠加作为最终的输出图像；利用湍流移除生成网络得G到湍流移除图像后，将其与前后帧参考图像共同送入湍流存在性判别网络D中进行进一步判别；

步骤二：利用湍流存在性判别网络D对生成湍流移除图像进行分类判别

采用Wasserstein对抗损失函数结合相邻参考帧条件输入加强对时域连续性的约束，提升判别网络训练的收敛速度和稳定性；引入梯度惩罚项对判别器梯度流的l_p范数进行约束，优化网络参数的数值分布；同时在卷积层间引入实例归一化与修正线性整流单元提升D的判别性能；利用湍流存在性判别网络D得到的特征图谱计算全图均值，并在此基础上结合湍流移除生成网络G的生成图像进行损失函数的计算；

步骤三：构造序列感知损失函数L_series

将序列感知损失函数引入湍流移除生成网络中，利用预训练VGG-19网络提取序列图像的顶层抽象特征，在提取特征的基础上利用l₂范数构造损失函数，对受扰图像中几何畸变和模糊进行恢复；同时利用Wasserstein对抗损失函数对图像中的细节和纹理部分进行修复，在对抗损失函数中使用条件输入，在湍流移除生成图像两端加入时域参考序列，增强生成序列在时域上的连贯性；湍流移除生成网络在上述两项损失函数的协同作用下生成高质量的湍流移除图像。

2.根据权利要求1所述的一种基于时空域残差生成对抗网络的视频湍流去除方法，其特征在于：所述步骤一的具体过程如下：

S11、由于湍流序列在时间方向上存在强关联性，序列在输入编码-解码器前在三维视频序列处理单元中进行处理，在将中间帧作为预设处理对象的基础上对序列进行分组，利用立体卷积提取分组序列在不同时域区间上的特征，最后进行降维并输入到二维的全卷积网络当中；

S12、为了加快收敛速度，解决网络层数加深时训练困难问题，在保证层间传递梯度流充足的同时充分利用来自前层网络的有效特征，前层卷积模块的输入将以恒等映射的形式与下层卷积模块的输出叠加，即相邻两层卷积模块的基本功能为形成从输入到输出的残差映射，并在两卷积层之间引入随机失效层，以此为基本结构组成多组残差模块对图像进行特征提取；

S13、同时，在编码器-解码器结构中利用多尺度卷积核与不同步长的搭配生成不同尺度特征谱，并在卷积层间加入实例归一化与线性修正整流单元；基于湍流干扰形式的复杂性，构建全局残差连接，将解码器输出的特征图谱同输入目标帧叠加作为最终输出，约束主体网络结构学习移除清晰图像，提升网络在处理同场景不同退化形式图像序列的表达能力和鲁棒性，有效提升生成湍流移除图像质量。

3.根据权利要求1所述的一种基于时空域残差生成对抗网络的视频湍流去除方法，其特征在于：所述步骤三的具体过程如下：

湍流移除生成网络G的损失函数具体组成如下：T时刻湍流移除图像与参考图像y_T分别通过预训练VGG-16模型后，取第j层卷积层经修正线性单元激活后的特征谱和φ_j(y_T)计算均方误差损失得到感知损失函数L_perceptual，并与基于Wasserstein距离的对抗损失函数相加得到L_series，其表达式为：

其中代表真实数据分布，代表模型数据分布，D(·)表示湍流存在性判别网络的输出，C_j，H_j和W_j分别为第j层修正线性单元激活特征谱的通道数、高和宽；相应地，湍流存在性判别网络D的损失函数为：

4.根据权利要求1所述的一种基于时空域残差生成对抗网络的视频湍流去除方法，其特征在于：采用ADAM优化，生成网络G和判别网络D的学习率设置均为10-4，通过梯度反向传播调整网络中的参数值降低相应的loss，最终生成清晰的湍流移除序列图像。