[发明专利]深度伪造检测模型的评测方法、系统及设备

说明书

本发明属于图像处理领域，公开了一种深度伪造检测模型的评测方法、系统及设备，包括以下步骤：根据待评测深度伪造检测模型的训练方法，通过预设的各类型的深度伪造数据集，分别训练待评测深度伪造检测模型，得到各训练好的深度伪造检测模型；通过预设的多样化困难样本集，测试各训练好的深度伪造检测模型，获取训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值并按照预设权重进行加权叠加，得到待评测深度伪造检测模型的评测结果。建立了准确、公平、全面的评测方法，所得到的评测结果更加符合深度伪造检测模型的实际情况。

技术领域

本发明属于图像处理领域，涉及一种深度伪造检测模型的评测方法、系统及设备。

背景技术

近年来，以深度学习算法为代表的人工智能技术不断发展创新，促使计算机视觉领域许多任务的解决方案不断取得突破，其成功应用为生活和社会生产带来了许多便利，比如智能视频监控场景、自动驾驶场景、智慧医疗场景等等。然而，滥用此类技术可能会对个人隐私保护带来巨大挑战，最近提出的基于深度学习的深度伪造技术(DeepFake)通过篡改或替换原始视频的人脸信息误导人们相信视频中的虚假言行，这对侵犯隐私、制造虚假言论及扰乱国家安全构成了新的威胁。面对深度伪造视频和图片的恶意传播，相关检测技术越来越多地被研究人员所重视。目前尽管已经有许多大规模深度伪造深度伪造数据集和检测方法被提出，但是由于这些检测模型所选用的训练和推理深度伪造数据集不一致，且选用的评估指标过于单一，导致了各模型的检测准确性难以公平评判。

针对以上问题，随着近年来大规模深度伪造深度伪造数据集的出现，已经有一些研究工作在建立深伪检测基准方面做了初步尝试。例如，有学者提出了一个不断更新的在线评测方法，检测方法的拥有者可以利用网站提供的测试深度伪造数据集测试其模型并上传推理结果，然后由网站审核结果并将其评测指标得分发布到网站维护的基准信息中。然而，这个基准评测工作存在其局限性，首先，其缺乏对基准测试深度伪造数据集相关重要信息的详细描述，比如数据规模和其中虚假数据的伪造类型，其次，它没有严格控制参加评测的检测方法的训练过程和训练数据，而是只提供了提交指南并指导参与者自行提交离线检测结果，这无法保证对不同方法进行公正评估。另一个评测方法，提出了一个大规模深度伪造数据集并利用这个深度伪造数据集组织了一场深度伪造检测比赛。但由于其仅对其比赛中出现的方法进行评估，并且在参赛方法的训练过程上没有设置任何限制，导致其缺乏对现有主流检测方法的严格公正的评测。

除此之外，由于以下原因，目前对深度伪造检测模型的评估是不公平且不充足的，导致得到的结果是不准确的。首先，许多深伪检测模型的评测工作利用了在不同训练深度伪造数据集上训练得到的模型进行评估，例如，有的方法在测评时直接应用了公开可用的训练好的模型，而不是使用相同的训练数据重新实现这些模型并进行评估，这种训练深度伪造数据集不一致的评估工作会导致方法间不公平且不正确的比较。其次，由于大多的深伪检测模型是在仅包含有限伪造生成方法生成的同分布深度伪造数据集上进行训练和评估的，因此存在过拟合和可迁移性差的问题，这就导致大多数看似性能优异的检测模型实际在真实场景中应用时性能大幅度下降。

发明内容

本发明的目的在于克服上述现有技术中的缺点，提供一种深度伪造检测模型的评测方法、系统及设备。

为达到上述目的，本发明采用以下技术方案予以实现：

本发明第一方面，一种深度伪造检测模型的评测方法，包括以下步骤：

获取待评测深度伪造检测模型的训练方法；

根据待评测深度伪造检测模型的训练方法，通过预设的各类型的深度伪造数据集，分别训练待评测深度伪造检测模型，得到各训练好的深度伪造检测模型；

通过预设的多样化困难样本集和各类型的深度伪造数据集，测试各训练好的深度伪造检测模型，获取训练好的深度伪造检测模型在同分布数据下的准确性指标值、在非同分布数据下的泛化性指标值、健壮性指标值以及实用性指标值；