[发明专利]基于关键帧人脸特征的人脸交换篡改视频检测方法、系统及介质

权利要求书

1.基于关键帧人脸特征的人脸交换篡改视频检测方法，其特征在于，包括下述步骤：

将视频数据集划分为训练集和测试集，对每个视频流提取设定数量的关键帧；

对提取的关键帧进行人脸定位，提取所有人脸区域图像并保留脸部边缘背景；

对保留脸部边缘背景的人脸区域图像再次检测与定位，获取紧密人脸区域图像；

将紧密人脸区域图像输入到人脸识别任务中训练好的神经网络中，获取人脸图像特征表示；

将训练集视频的多个关键帧上的人脸图像特征表示作为一组输入，对长短期记忆网络和线性判别器进行训练，具体为：

使用三层叠加的前向长短期记忆网络LSTM对特征进行聚合，其每一层的结构中包括一个输入门i_t、一个遗忘门f_t、一个记忆门g_t、一个输出门o_t，对输入序列中的每个成员计算隐藏状态h_t，记忆单元c_t，计算公式如下：

i_t＝σ(w_iix_t+b_ii+w_hih_t-1+b_hi)

f_t＝σ(w_ifx_t+b_if+w_hfh_t-1+b_hf)

o_t＝σ(w_iox_t+b_io+w_hoh_t-1+b_ho)

其中σ表示非线性激活函数sigmoid；x_t表示第t帧的人脸特征向量，w_ii、w_if、w_io分别表示输入门、遗忘门、输出门对x_t进行线性变换的权重矩阵，b_ii、b_if、b_io分别表示三个线性变换的偏置；h_t-1表示第t-1帧人脸特征向量经过LSTM计算后得到的隐藏向量，w_hi、w_hf、w_ho分别表示输入门、遗忘门、输出门对h_t-1进行线性变换的权重矩阵，b_hi、b_hf、b_ho分别表示三个线性变换的偏置；

三个门控单元在计算的时候结合每个时刻的人脸特征上一时刻的隐藏状态，上一时刻的隐藏状态在初始化的时候设为全零向量；

g_t＝Tanh(w_igx_t+b_ig+w_hgh_t-1+b_hg)

c_t＝f_t⊙c_t-1+i_t⊙g_t

h_t＝o_t⊙tanh(c_t)

其中，⊙表示哈达玛积，即两个向量中相同对应位置的元素进行相乘；w_ig、b_ig表示记忆门对x_t进行线性变换的权重矩阵和偏置，w_hg、b_hg表示记忆门对h_t-1进行线性变换的权重矩阵和偏置；c_t-1表示第t-1帧经过相同计算得到的保留信息向量；tanh()表示双曲正切激活函数；

所述记忆单元c_t通过有选择性地使用当前人脸特征结合上一时刻的隐藏向量经过非线性激活函数的计算特征与上一时刻的记忆单元信息，保持长期的记忆功能；输出的隐藏状态h_t在记忆单元c_t的基础上经过进一步的非线性变换获得，输入给下一层的LSTM；

获取最后一层LSTM的最后一个人脸特征对应的输出隐藏向量，先使用线性层映射到128维度，经过ReLU非线性激活函数后，再将其映射到2维的分类空间，并使用softmax进行归一化求得两个概率值；

在训练集上，通过最小化交叉熵损失函数在训练集上对长短期记忆网络和线性判别器进行反向传播更新参数，对于一个样本的具体计算公式为：

其中，L表示损失函数，y表示该人脸视频的真实标签，表示对应计算得到的概率值；

将测试集视频的多个关键帧上的人脸图像特征表示作为一组输入，输入到长短期记忆网络中，将最后一个图像对应的输出经过线性判别器，得到检测结果并评估检测性能。