[发明专利]深度伪造检测模型的评测方法、系统及设备

权利要求书

1.一种深度伪造检测模型的评测方法，其特征在于，包括以下步骤：

获取待评测深度伪造检测模型的训练方法；

根据待评测深度伪造检测模型的训练方法，通过预设的各类型的深度伪造数据集，分别训练待评测深度伪造检测模型，得到各训练好的深度伪造检测模型；

通过预设的多样化困难样本集和各类型的深度伪造数据集，测试各训练好的深度伪造检测模型，获取训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值；

将训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值，按照预设权重进行加权叠加，得到待评测深度伪造检测模型的评测结果；

所述深度伪造数据集的类型包括基于GAN生成方法生成虚假数据的深度伪造数据集、基于自编码器生成方法生成虚假数据的深度伪造数据集、基于图形化生成方法生成虚假数据的深度伪造数据集以及基于GAN生成方法生成虚假数据、基于自编码器生成方法生成虚假数据以及基于图形化生成方法生成虚假数据中至少两个的深度伪造数据集；

所述多样化困难样本集包括标准样本数据与扰动样本数据；

其中，标准样本数据包括自动化标准样本数据和人工标准样本数据，自动化标准样本数据通过如下方式得到：通过训练好的深度伪造检测模型，预测各类型的深度伪造数据集中各样本数据的虚假得分值，将虚假得分值小于预设虚假得分阈值的样本数据作为自动化标准样本数据；人工标准样本数据通过如下方式得到：通过预设数量的用户，观测各类型的深度伪造数据集中各样本数据的真假性，将半数以上用户判断错误的样本数据作为人工标准样本数据；扰动样本数据通过如下方式得到：对标准样本数据添加预设类型的扰动，得到扰动样本数据。

2.根据权利要求1所述的深度伪造检测模型的评测方法，其特征在于，所述预设的各类型的深度伪造数据集均包括训练集、验证集和测试集；且各类型的深度伪造数据集中，训练集、验证集和测试集之间的比例相同。

3.根据权利要求1所述的深度伪造检测模型的评测方法，其特征在于，所述通过预设的各类型的深度伪造数据集，分别训练待评测深度伪造检测模型前，将深度伪造数据集中的样本数据进行视频帧抽取、图像人脸抽取或人脸校正处理；

或者，获取待评测深度伪造检测模型的样本数据预处理方法，将深度伪造数据集中的样本数据，根据样本数据预处理方法进行预处理。

4.根据权利要求1所述的深度伪造检测模型的评测方法，其特征在于，所述预设类型的扰动包括高斯模糊、白高斯噪声、颜色对比度改变以及颜色饱和度改变中的一种或几种。

5.根据权利要求1所述的深度伪造检测模型的评测方法，其特征在于，还包括从各类型的深度伪造数据集中选取真实样本数据作为标准样本数据，至所有标准样本数据中的虚假样本数据与真实样本数据数量相同。

6.根据权利要求1所述的深度伪造检测模型的评测方法，其特征在于，所述准确性指标值包括AUC、准确率和精确率；所述泛化性指标值包括AUC、准确率和精确率；所述健壮性指标值包括扰动程度-AUC曲线的曲线下面积值；实用性指标值包括模型参数量-AUC散点图的纵轴与横轴比值、模型所需计算力-AUC散点图的纵轴与横轴比值和模型推理时间-AUC散点图的纵轴与横轴比值。