[发明专利]一种共享可更新的Deepfake视频内容监管方法及系统在审
申请号: | 202110792697.0 | 申请日: | 2021-07-14 |
公开(公告)号: | CN113537042A | 公开(公告)日: | 2021-10-22 |
发明(设计)人: | 毛典辉;赵爽;郝治昊;李海生;左敏;蔡强 | 申请(专利权)人: | 北京工商大学 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/34;G06K9/46;G06K9/62;H04L29/06;H04N21/234;H04N21/2743 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100048*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 共享 更新 deepfake 视频 内容 监管 方法 系统 | ||
1.一种共享可更新的Deepfake视频内容监管方法,其特征在于,包括:
步骤S1:将Deepfake视频输入预处理模块,提取视频关键帧并截取人脸图像作为训练样本;
步骤S2:提取训练样本的空域与频域特征,将特征信息输入SVM分类模型进行训练,得到初始的内容监管模型;
步骤S3:基于区块链技术建立共享可更新策略,并设计激励机制收集新的有效的Deepfake视频数据;
步骤S4:收集样本数量达到阈值后,对初始模型进行更新训练,更新后对样本贡献者共享Deepfake视频内容检测方法并等待下一次更新。
2.根据权利要求1所述的共享可更新的Deepfake视频内容监管方法,其特征在于,所述步骤S1,将Deepfake视频输入预处理模块,提取视频关键帧并截取人脸图像作为训练样本,包括:
步骤S11:将样本视频逐帧进行直方图绘制,并按照下述公式(1)计算帧与帧之间的差值保存为D;
其中,d(i)表示为图像的直方图数据,i表示为当前帧内的像素块序号,k表示为帧内的像素块总数量,p,q表示为视频图像相邻帧帧序号;
步骤S12:依据两次筛选进行自适应阈值的边界帧的判断。首先,设定窗口重叠次数为3,其中窗口大小为13帧,步长为10。定义M帧为当前窗口内D最大的帧,并应同时满足与上一个M帧的距离大于最小片段长度;其次,M帧应同时满足下述公式(2),match(M)=true时,表示当前M帧为片段边界帧;
其中,M′表示为当前帧的上一M帧,表示为两个帧之间帧的D的平均值,Multiplier被定义为预设期望倍数;
步骤S13:依据视频中边界帧划分片段,并计算所有片段内的帧的找出片段内帧的D大于平均值的倍数的帧标记为关键帧,否则选择片段的中间帧作为关键帧;
步骤S14:对关键帧基于CNN网络shape_predictor_68_face_landmarks进行人脸识别,并裁剪调整出入脸及周边正方形区域作为训练样本数据。
3.根据权利要求2所述的共享可更新的Deepfake视频内容监管方法,其特征在于,所述步骤S2:提取训练样本的空域与频域特征,将特征信息输入SVM分类模型进行训练,得到初始的内容监管模型,包括:
步骤S21:对训练样本M*N按照二维离散傅里叶变换计算表示二维功率谱,并将其定义为P(u,v);其次,将二维的傅里叶频谱图按照从低频到高频的顺序,由内向外划分为K个区间,依据公式(3)计算第i个矩形环内累加和。并按照公式(4)进行归一化处理,其结果为训练样本的频域特征;
其中,ζi表示第i个矩形环内能量,Ψi表示第i个矩形环内能量与总能量之比。因此,图像的二维频谱图能量特征向量定义为ζf=[ζ1,ζ2,...,ζK],频谱图能量占比特征向量定义为Ψf=[Ψ1,Ψ2,...,ΨK];
步骤S22:对训练样本M*N进行n级小波分解得到样本图像小波特征值,并依据每个特征值的频带信号进行分析,每个参数表示为一个特征向量空间,各参数值的维数即HSV空间的维数,即该特征空间的基,最终提取得到图像HSV模型的多维小波特征向量。依据公式(5)计算所有子带系数得到均值、方差和偏斜度,其结果为训练样本的空域特征;
其中μ,σ,ω分别表示全部子带系数的均值、方差和偏斜度;N表示全部计算机生成图像小波特征样本数量;x表示计算机生成图像的小波特征;
步骤S23:将一维频域特征与多维空域特征级联融合,并对其进行归一化处理,得到的多维全局纹理特征信息作为真伪图像的鉴别特征;
步骤S24:依据鉴别特征将样本数据集输入SVM分类器进行训练,得到初始的内容监管模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京工商大学,未经北京工商大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110792697.0/1.html,转载请声明来源钻瓜专利网。