[发明专利]一种针对不平衡数据的多任务学习AI换脸视频检测方法

说明书

本发明涉及一种针对不平衡数据的多任务学习AI换脸视频检测方法，利用多任务学习将帧级检测和视频级检测方法组合成一个协作网络，同时利用了帧级检测和视频级检测方法的优势，弥补了各自的缺陷，可以同时对单独的伪造帧和整个视频进行综合检测，提高了检测准确率。针对实际数据存在不平衡的问题，引入一种WMW的损失函数，可以直接优化模型AUC数值，使得AUC数值最大化，最大程度减少不平衡数据集带来的不利影响，对来自不通数据集的视频和面对不同程度的不平衡数据方法都表现出良好的稳健性。

技术领域

本发明涉及图像处理领域，尤其涉及一种针对不平衡数据的多任务学习 AI换脸视频检测方法。

背景技术

最近一种基于卷积自动编码器的面部修改技术引起广发关注和讨论，它就是AI换脸(Deepfakes)，它能将视频中的原始面部与另一个人的面部交换。该技术已经取得了肉眼无法区分的令人印象深刻的视觉效果。由于在社交媒体上的广泛使用，AI换脸视频已成为严重的社会问题和安全问题。

这种担忧引发了大量关于AI换脸检测的研究活动。这些工作中的大多数将AI换脸检测视为二元分类任务，并使用AI神经网络来检测伪造的视频或图像。

尽管这些方法在基准数据集上取得了良好的性能，但它们忽略了现实世界中的数据不平衡问题：真实视频的数量通常显著超换脸视频。减轻不平衡数据问题的不利影响的一种直接方法是从不同类别中重新采样数据或调整不同类别的权重，但它需对不同的数据集单独做权重调整而且删除或重复数据可能导致模型过拟合等问题。另一种缓解数据不平衡效应的方法是数据增强，例如翻转、旋转、缩放和裁剪以扩展数据集。但是，通过数据增强扩展的数据包含的是与原始数据基本相同的信息。因此，数据增强并不能充分解决问题。解决在AI换脸视频检测领域的数据不平衡问题显得尤为迫切。

此外，大多数AI换脸检测方法仅在帧或视频级别对伪造视频进行检测。视频级方法可以检测伪造视频，但无法检测伪造视频的各个帧的伪造情况。在实践中，当并非视频的所有帧都是伪造时，识别特定的假帧很重要。而帧级方法旨在检测单个伪造图像或单个伪造视频帧，但不能在视频级提供综合结果。重要的是，现有帧级检测方法没有考虑到视频的时域信息，而时域信息在视频级检测中起着重要作用，可以显著提高检测性能。因此，亟需提出一种结合帧级和视频级检测的方法，使得模型不仅可以检测每个伪造的帧，还可以整合帧的时间信息，从而端到端地对整个视频进行整体检测。

发明内容

针对现有技术之不足，本发明提出一种针对不平衡数据的多任务学习AI 换脸视频检测方法，所述方法包括：本发明利用多任务学习将帧级检测和视频级检测方法组合成一个协作网络，引入了GRU模块以提取视频时域信息。针对实际数据存在不平衡的问题提出一种损失函数，能直接优化模型AUC结果，有效解决数据不平衡问题。

本发明方法能同时对视频整体和视频帧进行检测，且能有效应对不平衡数据带来的负面影响，所述方法具体包括：

步骤1：准备好需要检测的AI换脸视频作为数据集，所述数据集包含了多种类别的不平衡数据；

步骤2：采用Dlib机器学习库提取视频中对应的人脸图像，并使用 OpenCV图形库将提取的所述人脸图像设置为固定大小；

步骤3：将设置为固定大小的人脸图像输入至ResNet-50中，ResNet-50 通过深度残差网络以多层卷积的计算方式提取每帧人脸图像在空间域的高维信息；

步骤4：将提取的每帧人脸图像的空间域信息X_t输入GRU网络模块提取时域信息，具体如下：