[发明专利]一种基于多任务学习模型的AI换脸视频检测方法

说明书

本发明请求保护一种基于多任务学习模型的AI换脸视频检测方法，属于计算机视觉与深度学习领域，包括以下步骤：预先训练基于多任务学习的模型来检测被修改的换脸视频，并为每个查询定位修改的区域，此模型为自动编码器包括一个Y型自动解码器。利用半监督学习方法来提高网络的生成性，利用多任务之前共享有价值的信息，减少激活损失函数、分割损失函数和重建损失函数的总和，并使用优化器进行优化，进而提高性能。对于视频输入检测，对所有帧的概率进行求平均，得出输入为真或假的概率。本发明有利提高AI换脸视频检测。

技术领域

本发明属于计算机视觉与深度学习领域，具体涉及一种基于计算机与深度学习算法的虚假视频检测方法，用于快速准确判定虚假生成的视频文件以及定位视频篡改部位。

背景技术

伴随着深度学习的发展，AI换脸技术越来越多，技术也越来越成熟，AI换脸的效果也越来越好，伴随着AI换脸这项技术的发展，也带来不少的负面影响。随着市面上AI换脸软件的泛滥，越来越多的人利用一部手机和一些照片就能合成虚假的视频，对社会产生了严重的影响，因此需要对视频的真实性进行鉴别。

目前公开的AI换脸视频检测中，仅仅是从单一的特征去检测，例如基于眨眼的，基于嘴型的，基于皮肤边缘的，导致检测性能不佳。计算过程中，大多数检测方法把整个图像考虑计算，大大增加计算费用，从而不能高效并准确检测换脸视频。

本发明主要提出一种利用多任务学习模型解决了AI换脸视频检测不能高效并且准确的问题。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于多任务学习模型的AI换脸视频检测方法。本发明的技术方案如下：

一种基于多任务学习模型的AI换脸视频检测方法，其包括以下步骤：

S1:预先下载用于虚假视频生成的算法，利用自有的数据生成虚假视频和未修改的视频，其中分为训练集、验证集和测试集；

S2:预先训练多任务学习特征提取模型，再将训练好的特征提取模型保存；所述特征模型为一个自动编码器，自动编码器带有一个Y型解码器，Y型解码器在激活、分割和重建任务之间共享有价值的信息，通过调整总损失函数，以提高整体性能。Y型解码器以半监督的方式训练；

S3:输入待检测视频，对待检测视频进行预处理，预处理包括对图像脸部进行提取，将预处理后的视频放入步骤S2训练好的特征模型进行分类和细分；

S4:到最后的激活层输出视频每帧篡改概率以及与该输入视频每帧相对应的分割图，对视频每帧篡改概率进行求平均，最后得出输入是否为虚假视频。

进一步的，所述步骤S1中用于虚假视频生成的算法选用DeepFake、Face2Face和FaceSwap在内的相关开源算法。

进一步的，在步骤S1中用于训练的虚假视频为3000个，未修改的视频为1000个，其中每个数据集分为720个视频用于训练，140个视频用于验证，140个用于测试，每个训练视频只用200帧来训练，验证和测试视频采用10帧用于验证和测试，并裁剪面部区域。

进一步的，所述自动编码器可以在分类、分段和重建过程共享有价值信息，从而减少损失来提高性能，具体的损失函数如下：

激活损失函数：

其中N是样本数，a_i，1和a_i，0是激活值并且定义为L₁范数对应的半潜特征，c为给定类，h_i为潜在特征，K为h_i,c的特征数；y_i表示给定标签，h_i,c表示激活潜在特征。

分割损失函数：