[发明专利]一种基于人脸识别与行人重识别的特定目标跟踪方法

说明书

基于人脸识别与行人重识别的特定目标跟踪方法，首先训练基于特征融合与三重损失函数的行人重识别神经网络，建立追踪目标人脸库，人脸识别模块提取人脸库的人脸特征向量；然后检测监控画面中的行人，人脸识别模块提取监控画面中行人人脸特征，与人脸库特征向量比对相似度，人脸识别成功则保存由行人重识别模型得到的行人特征至行人库。人脸识别失败则进行行人重识别，比对行人特征与行人特征库的相似度。行人重识别成功则保存相似度高的行人特征至行人库，行人重识别失败则利用上下帧的时空相关性确定行人的身份。最终实现在监控中对特定目标实时、有效的跟踪。

技术领域

本发明涉及多目标跟踪领域，具体涉及监控视角下，对特定行人进行跟踪的方法。

背景技术

随着“平安城市”、“城市治安防控”等重大项目的推动，基于监控视频设备进行的精准定位、目标识别和特定目标跟踪等智能侦查技术，已经成为了新形势下维护国家安全和社会稳定的重要侦查手段。其中，跟踪跨镜监控中特定行人的技术显得尤为重要。

人脸识别与行人重识别是识别特定行人的关键技术。人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，人脸识别的优势在于人脸的唯一性和长期有效性，但由于监控视角下的人脸存在遮挡、角度不佳的问题，无法用人脸识别进行长时间跟踪；行人重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，行人重识别的优势在于受遮挡影响小，但由于行人特征受服装影响较大，服装变换会导致目标的丢失，无法长时间跟踪。

发明内容

本发明要克服现有技术的上述缺点，基于特征融合与三重损失函数的行人重识别神经网络，提出一种基于人脸识别与行人重识别的特定目标跟踪方法，结合行人的时间相关性与空间相关性，在一定程度上解决了特定行人长时间跨镜跟踪的问题，可应用在追踪逃犯、寻找丢失儿童、分析特定目标行为等方面。

本发明解决其技术问题所采用的技术方案是：

一种基于人脸识别与行人重识别的特定目标跟踪方法，含有以下步骤：

步骤1.训练基于特征融合与三重损失函数的行人重识别神经网络：预训练ResNet50网络，改进ResNet50网络，拼接ResNet50中层特征向量和高层特征向量的融合特征作为输出的行人特征向量，并添加hard triplet、softmax和ring三重损失函数来构造行人重识别网络，预处理Market1501数据集，训练行人重识别网络；

步骤2.建立目标人脸库的：拍摄追踪目标的人脸，并以“姓名+序号”的图片名格式保存在本地的步骤；

步骤3.读取多源监控画面：rtsp协议读取监控画面并上传至服务器；

步骤4.检测行人：用训练好的Yolo3神经网络模型检测监控图片中的行人，得到所有行人在监控图片中的坐标，并根据坐标将行人从原始画面中裁剪出来；

步骤5.提取行人特征：加载训练好的行人重识别模型，将裁剪出的行人图片输入到该模型中，输出长度为3072的特征向量作为行人特征；

步骤6.人脸识别：人脸检测模块确定人脸位置，人脸识别模块提取人脸库和待识别行人的人脸特征，计算行人人脸与人脸库的相似度，行人身份匹配为人脸库中相似度最高且相似度大于阈值α的身份；

步骤7.行人重识别：人脸识别失败后，计算当前行人特征与行人特征库的欧式距离，行人身份匹配为行人特征库中欧式距离最短且欧氏距离小于阈值β的身份，并保存欧式距离小于阈值γ的行人特征；

步骤8.基于上下帧时空相关性进行跟踪：人脸识别和行人重识别都失败后，记录上一帧行人位置和行人标签，利用上下帧的时空相关性进行确定当前帧行人身份。

与现有技术相比，本发明技术方案的优点有：