[发明专利]一种基于全卷积网络和条件对抗网络的视频前景检测方法

权利要求书

1.一种基于全卷积网络和条件对抗网络的视频前景检测方法，其特征包括如下步骤：

步骤1、视频数据收集和预处理：

获取真实场景视频数据并进行归一化预处理，得到预处理后的视频序列，记为I＝{I₁,I₂,…,I_t,…,I_T}，其中，I_t表示第t帧视频图像，并记第t帧视频图像I_t所对应的前景标注为G_t，t＝1,2,…,T；

步骤2、建立基于全卷积网络的静态检测网络，将所述第t帧视频图像I_t所对应的前景标注G_t作为检测目标，以交叉熵损失函数监督训练所述静态检测网络，从而生成静态检测结果；

所述静态检测网络由编码器和解码器构成，所述编码器使用w个卷积层，所述解码器使用w个对应反卷积层；并将编码器每层的输出特征图映射到对称解码器的输入中，然后通过通道维度连接起来，从而构建跳跃连接结构；

以第t帧视频图像I_t为静态检测网络的输入，经一层一通道卷积层和一层sigmoid层后得到第t帧视频图像的静态检测结果S_t；

根据式(1)计算第t帧视频图像的静态检测结果S_t与对应前景标注G_t之间交叉熵损失函数并作为训练所述静态检测网络的像素级监督损失，使用自适应矩估计优化方法以学习率lr_s来更新所述静态检测网络的权值，并在损失值趋于稳定时完成对所述静态检测网络的训练；

式(1)中，a_t为第t帧视频图像I_t中前景像素占总像素的比重；G_t(n)表示前景标注G_t中第n个像素值；S_t(n)表示静态预测结果S_t中第n个像素值；

步骤3、建立基于条件生成对抗网络的动态对抗网络，结合静态检测结果S_t及第t帧视频图像I_t的临近帧作为输入用于训练所述动态对抗网络，从而生成最终的检测结果；

步骤3.1、所述动态对抗网络的生成器由第一编码模块、静态转换模块、静态解码模块构成；

所述第一编码模块由c₁个卷积层构成，卷积核大小为均为ks₁，步长均为s₁，且在各卷积层之间采用LeakRelu层和批归一化层；

所述静态转换模块由c₂个残差模块构成，并设置所述残差模块中的卷积为空洞卷积；

所述静态解码模块由c₃个转置卷积层构成，转置卷积核大小为均为ks₃，步长均为s₃，且在各转置卷积层之间采用LeakRelu层和批归一化层；

将所述静态检测结果S_t及第t帧视频图像I_t的前后临近帧作为所述动态对抗网络的输入，输出的特征图经一层一通道卷积层和一层tanh层后得到第t帧图像的最终检测结果D_t；

根据式(2)计算最终检测结果D_t与前景标注G_t之间均方误差并作为生成器的像素级监督损失：

式(2)中，D_t(n)表示最终检测结果D_t中第n个像素值；

步骤3.2、所述动态对抗网络的判别器由第二静态编码模块组成，所述第二静态编码模块包含d₁个卷积层和d₂个全连接层；

将第t帧视频图像I_t的前景标注G_t与第t帧视频图像I_t的前后临近帧组合成正样本，并输入到所述判别器中，得到前景标注G_t为真的概率值

将第t帧视频图像I_t的静态检测结果D_t与第t帧视频图像I_t的前后临近帧组合后组成负样本，并输入到所述判别器，得到静态检测结果D_t为真的概率值

根据式(3)计算动态生成网络的最小二乘对抗损失

式(3)中，E表示期望；

根据式(4)计算动态判别网络的最小二乘对抗损失

根据式(5)计算动态对抗网络的最终对抗损失L_t，通过自适应矩估计优化方法以学习率lr_d对L_t进行优化求解，使得值、值和值在相互对抗中均收敛到最优，当值和值达到最优时，所述动态对抗网络的生成器达到最优，并生成最终的前景掩码图，当值达到最优时，所述动态对抗网络的判别器达到最优；

式(5)中，λ表示权重系数，用于平衡均方误差损失项和对抗损失项；

步骤4、利用训练好的静态检测网络和动态对抗网络模型对具有前景标注的视频数据集进行检测，从而得到相应的检测结果。