[发明专利]伪造人脸视频检测方法和装置

权利要求书

1.一种伪造人脸视频检测方法，所述方法包括：

从视频数据中提取视频帧序列；

将所述视频帧序列输入预先训练的残差神经网络，提取所述视频帧序列对应的残差特征；所述残差特征表示噪声特征，所述噪声特征用于确定所述视频帧序列中的噪声分布；

将所述视频帧序列输入预先训练的边缘纹理神经网络，提取所述视频帧序列中的边缘纹理特征；

将所述残差特征和所述边缘纹理特征进行特征融合，得到融合特征；

将所述融合特征输入预先训练的二分类卷积神经网络，输出是否为伪造人脸的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述从视频数据中提取视频帧序列，包括：

设置帧提取的帧间隔以及提取的视频帧数量；

以所述帧间隔，从所述视频数据中提取所述视频帧数量的视频帧，得到视频帧序列。

3.根据权利要求1所述的方法，其特征在于，将所述视频帧序列输入预先训练的残差神经网络，提取所述视频帧序列对应的残差特征，包括：

将所述视频帧序列输入预先训练的残差神经网络，提取所述视频帧序列对应的残差特征；所述残差特征为二维特征矩阵序列；所述二维特征矩阵序列的大小与所述视频帧序列相同。

4.根据权利要求1所述的方法，其特征在于，将所述视频帧序列输入预先训练的边缘纹理神经网络，提取所述视频帧序列中的边缘纹理特征，包括：

将所述视频帧序列输入预先训练的边缘纹理神经网络，分别对所述视频帧序列进行卷积和下采样操作，得到深度特征；

对所述深度特征分别进行卷积和上采样操作，得到人脸边缘的边缘纹理特征；其中，上采样和下采样均是通过采样窗口实现。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述残差特征和所述边缘纹理特征均为二维矩阵；

将所述残差特征和所述边缘纹理特征进行特征融合，得到融合特征，包括：

将所述残差特征的二维矩阵和所述边缘纹理特征的二维矩阵进行融合，得到融合特征；所述融合特征为三维矩阵。

6.根据权利要求1至4任一项所述的方法，其特征在于，在将所述视频帧序列输入预先训练的残差神经网络，提取所述视频帧序列对应的残差特征之前，所述方法包括：

当所述视频帧序列中的视频帧为灰度图像时，将所述视频帧序列进行复制操作，得到RGB三通道的视频帧序列。

7.根据权利要求1至4任一项所述的方法，其特征在于，所述残差神经网络、所述边缘纹理神经网络以及所述二分类卷积神经网络的训练方式，包括：

将所述残差神经网络、所述边缘纹理神经网络以及所述二分类卷积神经网络整合为统一分类框架；

对所述统一分类框架中的残差神经网络在预先设置的数据集上进行预训练，以及对所述统一分类框架中的边缘纹理神经网络在预先设置的数据集上进行预训练；

根据目标函数采用梯度下降方式对预训练的统一分类框架进行训练，得到训练后的统一分类框架：

其中，W＝{W₁,W₂,W₃}，W₁表示残差网络参数，W₂表示边缘纹理神经网络参数，W₃表示二分类卷积神经网络参数，W^*表示参数W的最优值，J_i∈{0,1}表示识别真伪结果，X＝{V_i,L_i}表示训练数据集，V_i表示第i个视频，L_i为其对应的标签。