[发明专利]一种基于双向时域一致的视频去雨方法与装置

权利要求书

1.一种基于双向时域一致的视频去雨方法，其步骤包括：

1)收集雨天拍摄的视频数据并将其划分为多个片段，将每一片段作为一个训练样本，得到一训练数据集；其中每一片段包含连续的m帧；

2)搭建一去雨模型并利用该训练数据集进行训练，该去雨模型包括一个由外至内去雨网络和一个由内至外预测网络；其中，对于每一训练样本进行两阶段处理：

第一阶段为：由内向外去雨网络首先分别估计该训练样本中间一帧I_t的前后相邻帧到I_t的光流，并基于光流对相邻帧进行运动补偿，得到相邻帧运动补偿结果；然后利用该相邻帧运动补偿结果计算当前帧I_t的粗去雨结果再根据该相邻帧运动补偿结果以及粗去雨结果计算当前帧I_t的精细去雨结果其中，由内向外去雨网络包括损失函数损失函数为当前帧I_t的雨痕掩膜；

第二阶段为：由内向外预测网络利用所述光流和当前帧I_t的精细去雨结果预测当前帧I_t的相邻帧，并对相邻帧的预测结果和其真实值之间施加一致性约束，构成时序一致损失函数其中为第i帧的雨痕掩膜，为第i帧I_i的精细去雨结果，s是相邻帧的数量；

当所有损失函数之和L_All＝L_Flow+λ_TL_Fid-T+λ_BL_Fid-B满足设定条件时停止训练；其中L_Fid-T＝L_Fid-TCor+L_Fid-TCon，λ_T、λ_B分别为权重系数，损失函数

3)利用训练后的去雨模型对待处理雨天视频的每一帧进行去雨，获得去雨后的视频。

2.如权利要求1所述的方法，其特征在于，将该相邻帧运动补偿结果输入粗去雨模块中，计算得到当前帧I_t的粗去雨结果该粗去雨模块为多个3D卷积层组成的卷积神经网络。

3.如权利要求1或2所述的方法，其特征在于，将该相邻帧运动补偿结果以及粗去雨结果计算当前帧I_t的精细去雨结果输入增强模块中，得到当前帧I_t的精细去雨结果其中该增强模块为多个3D卷积层组成的卷积神经网络。

4.如权利要求1所述的方法，其特征在于，每一片段包含连续的m帧，m为奇数；帧I_t为训练样本中的中间帧。

5.如权利要求4所述的方法，其特征在于，m取值为5。