[发明专利]一种基于多任务学习模型的AI换脸视频检测方法

权利要求书

1.一种基于多任务学习模型的AI换脸视频检测方法，其特征在于，包括以下步骤：

S1:预先下载用于虚假视频生成的算法，利用自有的数据生成虚假视频和未修改的视频，其中分为训练集、验证集和测试集；

S2:预先训练多任务学习特征提取模型，再将训练好的特征提取模型保存；所述特征提取模型为一个自动编码器，自动编码器带有一个Y型解码器，Y型解码器在激活、分割和重建任务之间共享有价值的信息，通过调整总损失函数，以提高整体性能，Y型解码器以半监督的方式训练；

S3:输入待检测视频，对待检测视频进行预处理，预处理包括对图像脸部进行提取，将预处理后的视频放入步骤S2训练好的特征模型进行分类和细分；

S4:到最后的激活层输出视频每帧篡改概率以及与输入视频每帧相对应的分割图，对视频每帧篡改概率进行求平均，最后得出输入是否为虚假视频；

所述自动编码器可以在分类、分段和重建过程共享有价值信息，从而减少损失来提高性能，具体的损失函数如下：

激活损失函数：

其中N是样本数，a_i，1和a_i，0是激活值并且定义为L₁范数对应的半潜特征，c为给定类，h_i为潜在特征，K为h_i,c的特征数；y_i表示给定标签，h_i,c表示激活潜在特征；

分割损失函数：

其中N是样本数，s_i为分割部分，m_i为真实部分；

重建损失函数：

其中N是样本数，表示重建图像，x_i表示原来图像；

总损失函数：

L＝r_actL_act+r_segL_seg+r_recL_rec

r_act、r_seg、r_rec表示L_act、L_seg、L_rec的权重，这个三个权重相等且等于1，L为总损失，为三个损失的加权总和，通过调整总损失函数，提高整体性能。

2.根据权利要求1所述的一种基于多任务学习模型的AI换脸视频检测方法，其特征在于，所述步骤S1中用于虚假视频生成的算法选用DeepFake、Face2Face和FaceSwap在内的相关开源算法。

3.根据权利要求1所述的一种基于多任务学习模型的AI换脸视频检测方法，其特征在于，在步骤S1中用于训练的虚假视频为3000个，未修改的视频为1000个，其中每个数据集分为720个视频用于训练，140个视频用于验证，140个用于测试，每个训练视频只用200帧来训练，验证和测试视频采用10帧用于验证和测试，并裁剪面部区域。

4.根据权利要求1所述的一种基于多任务学习模型的AI换脸视频检测方法，其特征在于，所述步骤S3还使用滑动窗口方法来分割脸部区域。

5.根据权利要求1所述的一种基于多任务学习模型的AI换脸视频检测方法，其特征在于，所述步骤S3进行分类和细分，具体步骤包括：

所述的多任务学习模型的训练方式为利用真是视频提取的样本与随机参数输入至DeepFake、FaceSwap和Face2Face模型中生成模型提取的样本进行对比学习，所述样本分割人脸区域，由多任务学习模型识别出虚假人脸区域眨眼不自然表情拼接，对真假视频进行分类，从而定义损失函数。