[发明专利]一种针对不平衡数据的多任务学习AI换脸视频检测方法

权利要求书

1.一种针对不平衡数据的多任务学习AI换脸视频检测方法，其特征在于,所述方法能同时对视频整体和视频帧进行检测，且能有效应对不平衡数据带来的负面影响，所述方法具体包括：

步骤1：准备好需要检测的AI换脸视频作为数据集，所述数据集包含了多种类别的不平衡数据；

步骤2：采用Dlib机器学习库提取视频中对应的人脸图像，并使用OpenCV图形库将提取的所述人脸图像设置为固定大小；

步骤3：将设置为固定大小的人脸图像输入至ResNet-50中，ResNet-50通过深度残差网络以多层卷积的计算方式提取每帧人脸图像在空间域的高维信息；

步骤4：将提取的每帧人脸图像的空间域信息X_t输入GRU网络模块提取时域信息，具体如下：

利用所述GRU网络模块来提取传统放射变换后时序上的不连续，所述GRU网络模块包括两个门：分别是更新门和重置门，ResNet-50提取的每帧的空间域信息X_t和前一帧图像的隐藏信息h_t-1作为所述GRU网络模块的输入，所述隐藏信息h_t-1由前帧的空间域信息加权计算得来，所述GRU网络模块通过所述门函数来将重要的长期记忆特征保留下来；

步骤5：经过所述GRU模块提取的所述时域信息分别输入到帧级分类器和视频级分类器中，利用多任务学习将帧级分类器和视频级分类器进行组合，具体包括：

步骤51：所述GRU网络提取的时域信息以帧为单位输入到独立的全连接层，所述全连接层能对每帧的信息预测出一个特定的值，称为帧级分类器；

步骤52：同时，所述GRU网络提取的时域信息输入到视频级分类器中，以整个视频为整体，所述时域信息通过平均池化层进行下采样，这样包含视频时域的高维信息最终被概括为一个16*16的矩阵中，所述矩阵在扁平化后最终输入到一个全连接层中作出整体的预测；

步骤6：将所述视频级分类器和所述帧级分类器输出的结果作为sigmoid函数的输入，通过预设的阈值来判断该视频或某帧是否为AI换脸；

步骤7：引入WMW统计量作为AUC的等效函数，将WMW统计量引入到传统的损失函数交叉熵中，以网络输出和对应标签作为输入，分别计算在帧级和视频级的交叉熵和能优化WMW的损失，所述交叉熵和损失的加权和作为总的损失函数，通过梯度反向传播来更新网络中的各模块参数，训练网络达到有效检测换脸帧和视频的目的。