[发明专利]一种基于时空域残差生成对抗网络的视频湍流移除方法

摘要

本发明一种基于时空域残差生成对抗网络的视频湍流移除方法，步骤如下：步骤一：由湍流移除网络G实现高质量湍流移除图像的生成；步骤二：利用湍流存在性判别网络D对生成湍流移除图像进行分类判别；步骤三：构造序列感知损失函数Lseries。本发明引入三维视频处理单元提升对于时域特征的提取能力和质量，利用残差模块和全局残差连接提升信息流的传递效率，加速网络的训练和收敛。通过序列感知损失函数对湍流图像的几何畸变、光闪烁和模糊等现象进行校正，利用基于序列输入的生成对抗损失保持图像细节特征和时域上的连续性，生成清晰的湍流移除图像。本发明可以与视频监控系统、远距离监视系统等应用密切结合，具广阔的市场前景与应用价值。

主权项

1.一种基于时空域残差生成对抗网络的视频湍流去除方法，其特征在于：该方法步骤如下：步骤一：由湍流移除网络G实现高质量湍流移除图像的生成输入序列的时间和空间信息在三维视频序列处理单元中进行整合；随后利用包含多尺度卷积核的卷积层对整合得到的特征谱进行特征提取和降采样处理，并输入到串联的残差模块当中；最后利用全局残差连接将经过升采样得到的图像与输入序列中间帧图像相叠加作为最终的输出图像；利用湍流移除生成网络得G到湍流移除图像后，将其与前后帧参考图像共同送入湍流存在性判别网络D中进行进一步判别；步骤二：利用湍流存在性判别网络D对生成湍流移除图像进行分类判别采用Wasserstein对抗损失函数结合相邻参考帧条件输入加强对时域连续性的约束，提升判别网络训练的收敛速度和稳定性；引入梯度惩罚项对判别器梯度流的l_p范数进行约束，优化网络参数的数值分布；同时在卷积层间引入实例归一化与修正线性整流单元提升D的判别性能；利用湍流存在性判别网络D得到的特征图谱计算全图均值，并在此基础上结合湍流移除生成网络G的生成图像进行损失函数的计算；步骤三：构造序列感知损失函数L_series将序列感知损失函数引入湍流移除生成网络中，利用预训练VGG‑19网络提取序列图像的顶层抽象特征，在提取特征的基础上利用l₂范数构造损失函数，对受扰图像中几何畸变和模糊进行恢复；同时利用Wasserstein对抗损失函数对图像中的细节和纹理部分进行修复，在对抗损失函数中使用条件输入，在湍流移除生成图像两端加入时域参考序列，增强生成序列在时域上的连贯性；湍流移除生成网络在上述两项损失函数的协同作用下生成高质量的湍流移除图像。