[发明专利]基于深度神经网络的数字视频删帧篡改检测方法

权利要求书

1.一种基于深度神经网络的数字视频删帧篡改检测方法，其特征在于，包括如下步骤：

步骤S1、将待检测视频剪辑成为若干个视频片段；

步骤S2、利用多尺度差分卷积网络MsDCNN从视频片段中提取相邻帧的像素级差分特征和全局差分特征，将二者融合形成多尺度差分特征；

步骤S3、将步骤S2得到的多尺度差分特征输入使用单向注意力机制的LSTM网络，经过全连接层得到视频片段的网络输出分数，判断视频片段中间点是否存在删帧；

步骤S4、对步骤S3得到的结果进行进一步分析，利用基于视频局部时空特征的后处理方法减少误检；

所述步骤S1具体实现方式为：

首先解码待测视频，得到n张视频帧的RGB图像，然后将得到的n张RGB图像转换为灰度图，再重采样至128×128像素大小，最后将重采样后的n张灰度图划分成n-9个连续的10帧的片段；

所述步骤S2具体实现方式为：

提取多尺度差分特征的MsDCNN由FDCNN和PDCNN两部分组成；FDCNN在卷积神经网络之前对视频相邻帧像素矩阵进行差分运算，PDCNN则在剪辑片段输入卷积神经网络之后对输出的高维特征进行差分运算；在FDCNN中，首先对步骤S1得到的10帧的视频片段中的相邻帧进行对应位置像素差分运算，每个片段得到9张差分图，再通过卷积神经网络从差分图中提取特征；其表达式如公式(1)所示：

d_p(f，f+1)＝c(P_f+1-P_f)； (1)

其中f和f+1分别表示视频中的第f帧和第f+1帧；P_f和P_f+1分别表示第f帧和第f+1帧的像素矩阵；c(·)表示卷积神经网络；

而在PDCNN中是先利用卷积神经网络从10张视频帧图像中提取高维特征，再对提取的10个48维的特征向量进行相邻帧差分运算得到9个48维的全局差异特征，其表达式如公式(2)所示：

d_g(f，f+1)＝c(P_f+1)-c(P_f)； (2)

FDCNN和PDCNN中的卷积神经网络结构相同，均由6个卷积层和5个池化层组成，其中第一层卷积核大小为5×5，第5层卷积核大小为1×1，其余4层卷积核大小为3×3；卷积层的步长为1，不使用全零填充；5个池化层中前两层使用最大池化，后三层使用平均池化，所有池化都使用2×2大小，步长为2的池化核；在每层卷积后都使用ELU激活函数；

FDCNN从10个视频帧图像中提取9个48维的像素级差异特征d_p，PDCNN从10个视频帧图像中提取9个48维的全局差异特征d_g；最后通过维度叠加的方式将d_p和d_g进行融合形成96维的特征向量D，D的表达式如公式(3)所示；

D(f，f+1)＝{d_p(f，f+1)，d_g(f，f+1)}； (3)

最终，对每个10帧片段的输入，MsDCNN输出9个96维的多尺度差分特征；

所述步骤S3具体实现方式为：

步骤S31、10张视频帧图像经过MsDCNN后得到LSTM网络的输入T＝{D₁，D₂，D₃，...，D_t|t＝9}，D_t为LSTM网络t时刻的输入，使用1层144个神经元的LSTM模型，LSTM的前向传播过程可以表示为：

i_t＝σ(W_i·[h_t-1，D_t]+b_i)； (4)

f_t＝σ(W_f·[h_t-1，D_t]+b_f)； (5)

o_t＝σ(W_o·[h_t-1，D_t]+b_o)； (6)

z_t＝tanh(W_z·[h_t-1，D_t]+b_z)； (7)

c_t＝i_t⊙z_t+f_t⊙c_t-1； (8)

h_t＝o_t⊙tanh(c_t)； (9)

其中W_i表示当前输入的权重矩阵，b为偏置项，σ表示sigmiod函数，⊙表示各个元素的乘积，输入门i_t控制LSTM的总输入z_t信息的多少，存储单元c_t记录当前时刻t的状态，遗忘门f_t和输出门o_t决定LSTM在当前时刻t的输出，在LSTM中使用单向的注意力机制在每个时刻都考虑前n个时刻的输出；h_t为t时刻LSTM的输出；

步骤S32、LSTM后使用一个全连接层分类器，输出视频片段的分数，最终得到待测视频中n-9个视频片段的网络输出分数，当输出分数大于0时，表示该片段的中间位置存在删帧，否则判断其不存在删帧；

所述步骤S4具体实现方式为：

步骤S41、对待测视频按照步骤S1-S3进行处理后，得到删帧点的索引集合V_p；

步骤S42、对V_n中的每一个删帧点，计算其前后500帧不包含该点的网络输出分数的中值md；

步骤S43、计算每一个删帧点左边50帧中输出分数大小排序前20的分数均值m_l，右边50帧中输出分数大小排序前20的分数均值m_h，然后计算m_l和m_h的均值m；

步骤S44、使用每个删帧点的输出分数f(k)减去m和md的差得到处理后的分数f_p(k)：

f_p(k)＝f(k)-(m-md)，k∈V_p； (10)

其中

W(k)＝{k-500，...，k+500}； (13)

步骤S45、经过上述计算后，f_p(k)大于0的帧所在位置即为待测视频中的删帧位置。