[发明专利]基于深度伪造视频检测的模型的评价方法及系统

说明书

本发明特别涉及一种基于深度伪造视频检测的模型的评价方法，包括如下步骤：S100、将待评分模型导入；S200、从视频样本库随机挑选指定数量的样本得到样本集，视频样本库中存储有视频以及该视频的真伪标记；S300、将样本集输入待评分模型中进行真伪识别；S400、将识别结果与样本的实际真伪进行比较，得到待评分模型指定评分指标的测量值P1；S500、根据测量值P1进行自动评分得到待评分模型的得分并输出。本发明可以筛选出高价值检测模型纳入到专业的深度伪造检测防御系统中，实现深度检测防御系统的构建，打造和巩固网络安全防线；还可以促进深度伪造检测模型技术的持续向前发展，并吸引深度伪造模型研发人员参与到视频样本库的不断完善中，达到一种良性循环。

技术领域

本发明涉及深度伪造视频检测技术领域，特别涉及一种基于深度伪造视频检测的模型的评价方法及系统。

背景技术

深度伪造（Deepfake）技术不仅能实现换脸，更可以创造出现实不存在的人物。通过该技术在理论上可以制作出指定任何人、说任何话、做任何事的虚假音视频。尽管深度伪造技术有其积极的一面,如在电影制作中创建虚拟角色、声音模拟;“复活”历史人物或已逝的亲朋好友等。但恶意的深度伪造内容可以用于误导舆论、扰乱社会秩序,甚至可能会干预政府选举和颠覆国家政权,已成为当前新一轮信息战的武器,给国家网络安全、数据安全、信息安全和国防安全带来了巨大威胁。

因此发展深度伪造检测检测技术是关系到国家信息安全的大事，目前各企业各科研机构和院校正在集中力量进行这方面的研究。但是如何相对客观的评价各个团队研发出来的深度伪造检测模型在真实场景下的检测能力水平高低，如何从中筛选出高价值模型应用到实战中服务于国家安全的防御，这个在目前市面上并没有一个比较有效的手段和方法。通常的做法是各个团队通过一些开放的或私有的局部样本集来训练和测试自己的模型，然后对比准确率得出模型的能力，比如名称为《深度伪造图像检测方法及装置》（申请号：202011352811.X）和名称为《基于时序不一致性的深度伪造视频检测方法及系统》（申请号：202011417127.5）的专利。

实战中所需要的模型往往是一些泛化性较高的模型，能够对大部分的深度伪造视频进行有效的检测和拦截。但是目前的深度伪造视频的检测模型的性能和能力评价一般是由模型研究者在有限的特定样本集或特定的场景下的通过log loss等算法评估出来的。这样评估出来的模型能力在实际应用场景中的效果和能力无法得到较为客观的评价，且无法与其他算法进行对比或有效协同，使得最终模型的实际落地应用意义大为降低。

发明内容

本发明的首要目的在于提供一种基于深度伪造视频检测的模型的评价方法，可以方便的对待测模型进行评分。

为实现以上目的，本发明采用的技术方案为：一种基于深度伪造视频检测的模型的评价方法，包括如下步骤：S100、将待评分模型导入；S200、从视频样本库随机挑选指定数量的样本得到样本集，视频样本库中存储有视频以及该视频的真伪标记；S300、将样本集输入待评分模型中进行真伪识别；S400、将识别结果与样本的实际真伪进行比较，得到待评分模型指定评分指标的测量值P1；S500、根据测量值P1进行自动评分得到待评分模型的得分并输出。

与现有技术相比，本发明存在以下技术效果：通过建立公共的视频样本库，提供丰富的模拟现实场景视频数据集来测评深度伪造检测模型的能力水平，一方面可以筛选出高价值检测模型纳入到专业的深度伪造检测防御系统中，实现深度检测防御系统的构建，打造和巩固网络安全防线；另一方面可以促进深度伪造检测模型技术的持续向前发展，并吸引深度伪造模型研发人员参与到视频样本库的不断完善中，达到一种良性循环。

本发明的另一个目的在于提供一种基于深度伪造视频检测的模型的评价系统，可以方便的对待测模型进行评分。