[发明专利]面向压缩域的视频敏感人物识别方法、系统及设备

权利要求书

1.一种面向压缩域的视频敏感人物识别方法，其特征在于，所述方法包括：

步骤S100，通过FFmepg和c++编码的方法进行待检测视频的部分解码，提取所述待检测视频的压缩域多模态信息；所述压缩域多模态信息包括：I帧、运动矢量图像、残差图像、DCT系数和分割深度；

步骤S200，对所述压缩域多模态信息进行人脸检测和人脸校准，得到校准后的压缩域人脸多模态信息；

步骤S300，将所述校准后的压缩域人脸多模态信息输入训练好的多模态人脸识别网络，获取待检测视频每个人脸的多模态人脸特征；

所述多模态人脸识别网络，其训练方法包括：

步骤A100，通过离线样本采集方法获取训练数据集；

步骤A200，基于所述训练数据集进行压缩获得训练视频压缩域信息；所述训练视频压缩域信息包括I帧、运动矢量图像、残差图像、DCT系数和分割深度；

步骤A300，随机选取所述训练数据集中任一训练数据的训练视频压缩域信息，通过所述多模态人脸识别网络分别获取对应的训练多模态人脸特征向量；

步骤A400，基于所述训练多模态人脸特征向量计算对比损失L；

步骤A500，重复步骤A300-步骤A400，并通过反向传播训练降低所述对比损失L，直至网络收敛，得到训练好的多模态人脸识别网络；

步骤S400，将所述多模态人脸特征与预设的敏感人物特征库匹配，获得所述待检测视频中是否包含敏感人物的判断结果；具体包括：

步骤S410，基于预设的敏感人物视频数据，通过如步骤A200-步骤A400的方法获取敏感人物的人脸特征向量；

步骤S420，基于所述敏感人物的人脸特征向量构建敏感人物人脸特征库；

步骤S430，基于所述人脸特征，计算所述人脸特征与所述敏感人物人脸特征库中的敏感人物人脸特征的余弦相似度，当所述余弦相似度大于预设的阈值T，则判断为所述待测视频存在敏感人物。

2.根据权利要求1所述的面向压缩域的视频敏感人物识别方法，其特征在于，所述多模态人脸识别网络，包括I分支、MV分支、Res分支和多模态融合模块：

所述I分支基于ResNet、InceptionNet或DenseNet中的一种构建，输入为校准后的I帧，输出为I帧的特征图谱；所述I帧为3通道RGB图像；

所述MV分支基于ResNet、InceptionNet或DenseNet中的一种构建，输入为校准后的运动矢量图像，输出为运动矢量图像的特征图谱；所述运动矢量图像为2通道矢量图像；

所述Res分支基于ResNet、InceptionNet或DenseNet中的一种构建，输入为校准后的残差图像，输出为残差图像对应的特征图谱；所述残差图像为2通道图像；

所述多模态融合模块，包括3个并列连接的残差模块，每个残差模块包含两个卷积核为3*3的卷积层；所述多模态融合模块输入为所述I帧的特征图谱、运动矢量图像对应的特征图谱和残差图像对应的特征图谱，输出为多模态人脸特征向量。

3.根据权利要求1所述的面向压缩域的视频敏感人物识别方法，其特征在于，所述对比损失L为：

其中，表示样本特征X₁到X₂的欧氏距离的二范数形式，P表示样本的特征维数，Y为表示两个样本是否匹配的标签，Y＝1表示两个样本为同一身份，Y＝0表示两个样本为不同身份，m为预设的阈值，N为样本个数，R(X₁)和R(X₂)表示稀疏正则项。

4.根据权利要求1所述的面向压缩域的视频敏感人物识别方法，其特征在于，步骤S300包括：

步骤S310，将所述压缩域多模态信息进行I帧信息的人脸检测和人脸校准获得校准后的I帧信息；

步骤S320，基于所述校准后的I帧信息，对残差图像和运动矢量图像进行人脸校准，获得校准后的残差图像和校准后的运动矢量；

步骤S330，所属校准后的I帧信息、校准后的残差图像和校准后的运动矢量为校准后的人脸多模态信息。