[发明专利]基于空间局部二值模式与光流梯度的人脸伪造视频检测方法

权利要求书

1.一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，其特征在于，包括以下步骤：

(1)对待检测的人脸伪造视频进行帧级别的分解，得到一个连续的帧序列；

(2)对于步骤(1)中裁剪得到的连续人脸图像块序列，设定三个时空轴T、X、Y，在XY、XT和YT这3个正交平面上分别计算局部二值模式；

(3)采用均匀模式的算子进行特征提取，n_j＝59(j＝0，1，2)，获取第j平面上的中心像素点(x，y，t)的LBP值；其中，R表示局部二值模式的计算半径，8表示对半径为R的环形区域上的8个采样点的领域进行LBP编码，u2表示该局部二值模式计算的是二次跳变的情况，n_j表示第j时空平面上的二值模式类别数，均等于59；

(4)将3个平面的局部二值模式直方图按照XY、XT、YT的顺序串联起来，构成联合特征；

(5)对步骤(1)中获得的人脸图像块序列，利用Horn-Schunck光流算法计算运动光流，得出四维平面坐标的向量(x，y，u，v)；将其转换为极坐标(x，y，r，θ)，r为点(x，y)上光流的大小，θ为该点的光流方向；

(6)将光流方向分成B个方向柱，以360°/B为间隔，光流大小分成M个数量级；计算单帧图像的方向-数量级光流梯度直方图时，根据每个像素点上光流的方向和大小投票到相应的方向柱数量级上；

(7)在获得每一帧人脸图像块的方向-数量级的光流梯度直方图特征的基础上，计算每一帧累积的方向-数量级的光流梯度直方图特征向量来表示N帧连续图像序列的运动特征；

(8)将步骤(4)获得的联合特征和步骤(7)获得的运动特征的特征序列链接并使用支持向量机进行训练并分类，对真假人脸进行伪造检测。

2.根据权利要求1所述的一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，其特征在于，所述步骤(1)包括以下步骤：

(11)对于检测到的每一帧，利用多任务卷积神经网络识别并定位图像中的人脸，裁剪出人脸图像块并进行缩放，得到人脸区域图像块序列；

(12)从该序列中提取空间3D局部二值模式描述符。

3.根据权利要求1所述的一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，其特征在于，所述步骤(3)包括以下步骤：

(31)将三维局部二值模式的直方图定义为：

其中，

i＝0，1，...，n_j-1；j＝0，1，2

其中，f_j(x，y，t)表示在第j平面上的中心像素点(x，y，t)的LBP值，j表示平面的编号，j＝0表示XY平面，j＝1表示XT平面，j＝2表示YT平面；n_j是在第j个平面上由LBP算子产生的二元模式数量，在本发明中等于59；

(32)对空间3D-LBP直方图进行归一化的操作：

(33)将输入的面部图像分成p×p个子块，然后分别计算每个子块的局部LBP直图。

4.根据权利要求1所述的一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，其特征在于，所述步骤(6)包括以下步骤

(61)将光流方向分成8个方向柱，分别为[0°，45°]，[45°，90°]，[90°，135°]，[135°，180]，[180°，225]，[225°，270°]，[270°，315°]，[315°，360°]；

(62)光流大小分成4个数量级[0，0.5]，(0.5，1.5]，(1.52]，(2，+∞)；

(63)为了避免出现零的情况，将每个方向柱的数量级上的值初始化为1；

其中，方向θ通过以下公式进行计算

θ＝tan^-1(u/v)

其中：

1≤b≤B

其中，b表示索引，表示第几个方向柱。

5.根据权利要求1所述的一种基于空间局部二值模式与光流梯度的人脸伪造视频检测方法，其特征在于，所述步骤(7)包括以下步骤：

进一步地，所述步骤(7)包括以下步骤：

(71)对于一段人脸视频A有Q帧图像，即A＝{I₁，I₂，...I_Q}，第q帧图像的方向-数量级的光流梯度直方图用G(I_q)表示；从I₁到I_Q连续Q帧图像序列的累积方向一数量级的光流梯度直方图G_q为：

(72)为避免不同面部动作或者不同人相同表情的特征之间的数量级差别较大，对所得到的上述特征进行归一化处理：

其中，G^a(l，8，4)表示第l个子网格，8个方向柱上，4个数量级；G_le表示第l个子网格，8方向柱上所有数量级上值的和。