[发明专利]融合人脸多角度特征的监控视频人物身份识别系统及其方法

摘要

本发明公开了一种融合人脸多角度特征的监控视频人物身份识别系统及其方法，包括目标检测模块、多角度人脸识别模块和身份匹配模块。目标检测模块用于将一段监控视频转换为包含人的关键帧集合，多角度人脸识别模块用于将包含人的关键帧集合转换为带有角度值标签的人脸图像序列，身份匹配模块用于完成带有角度值标签的人脸图像序列与身份库中图像序列的特征向量相似度匹配，并找到最接近的身份输出作为识别结果。本发明能综合监控视频中人脸多个角度的特征信息，从而提高在监控视频中人物姿态随意性较大的情况下，其身份识别的准确性。

主权项

1.一种融合多角度特征的监控视频人物身份识别系统，其特征是组成包括：目标检测模块、多角度人脸识别模块和身份匹配模块；所述目标检测模块收集单帧的有人图片和无人图片，并对每幅图片进行尺寸归一化处理后赋予类别标签，从而得到由正样本和负样本构成的训练样本数据集；提取所述训练样本数据集中每个样本的SIFT特征，从而将每个样本转换为特征向量；再利用支持向量机SVM对所述特征向量进行训练，得到目标检测模型；所述目标检测模块将监控视频转换成一系列的单帧图片，并作为测试集；利用所述目标检测模型识别所述测试集中每帧图片是否含有人，若含有人，则保留相应单帧图片，并作为关键帧，否则，丢弃相应单帧图片，从而得到关键帧集合；所述多角度人脸识别模块以人脸的正面0°为起始采集点，顺时针每隔k度采集一幅人脸图像，其中，不采集90°和270°的人脸图像，每个身份共收集m＝360/k‑2幅不同角度的人脸图像，从而形成一个有人脸和无人脸构成的人脸图像序列，进而获得n个不同身份的人脸图像序列所构成的多角度人脸数据库；将每幅人脸图像根据角度值分类到各自的类别集合中，通过局部遮挡每幅人脸图像的左上、右上、左下、右下、中间五个部分扩充所述多角度人脸数据库，从而形成多角度人脸训练集；提取所述多角度人脸训练集中每幅人脸图像的SIFT特征，从而将每幅人脸图像转换为多角度特征向量；再利用支持向量机SVM对所述多角度特征向量进行训练，获取多角度人脸检测模型；所述多角度人脸识别模块利用所述多角度人脸检测模型对所述关键帧集合进行检测，得到每个关键帧的人脸角度值，由所述人脸角度值判断每个关键帧是否含有人脸；若含有人脸，则保留相应关键帧，否则舍弃相应关键帧，从而将所述关键帧集合转换为带有角度值标签的人脸图像序列；所述身份匹配模块使用所述多角度人脸数据库中有人脸的人脸图像序列构造身份库，将所述身份库作为神经网络的输入，并进行训练，从而得到用于身份识别的神经网络模型；再将所述带有角度值标签的人脸图像序列作为测试样本，并将所述测试样本输入所述用于身份识别的神经网络模型中，提取神经网络中间任意一层输出作为特征，从而将测试样本转换为待识别的多维身份特征向量；所述身份匹配模块将所述多角度人脸数据库中n个不同身份的人脸图像序列分别输入所述用于身份识别的神经网络模型中，从而得到n个用于匹配的多维身份特征向量；再将待识别的多维身份特征向量分别与所述n个用于匹配的多维身份特征向量进行余弦距离相似度比较，并找到最大余弦值所对应的用于匹配的多维身份特征向量作为相应待识别的多维身份特征向量的身份匹配结果，以所述身份匹配结果所对应的身份标签作为相应待识别的多维身份特征向量的身份识别结果。