[发明专利]一种基于人脸和姿态的多模态人员识别方法

说明书

本发明公开了一种基于人脸和姿态的多模态人员识别方法，包括如下步骤：1）如果某个姿态图像可以被捕获，分配一个数字i，捕获用的矩形框为R1[i]，i作为该矩形框的标签；2）如从姿态图像中能识别出姓名A1[i]，得到最小余弦距离为a[i]，如果a[i]小于姿态识别阈值m，把i改为姓名标签A1[i]；3）如果某个脸部图像可被捕获和识别，捕获用的矩形框为R2[i]，得到的最小余弦距离为b[i]，如果b[i]小于人脸识别阈值n，标签改为姓名A2[i]；4）R2[i]在R1[i]内部的前提下，如果a[i]小于b[i]并且小于m，将R2[i]的标签改成A1[i]，否则，把R1[i]的标签改成A2[i]；5）对后续图像重复执行1）到4），如果a[i]或b[i]小于重复识别阈值k，基于行人重识别的目标追踪捕获的同一人的图像不再重复识别。

技术领域

本发明涉及计算机视觉领域，一种基于人脸和姿态的多模态人员识别方法。

背景技术

在我国，随着互联网技术的飞速发展以及城市建设的不断发展，视频监控得到了广泛的应用，成为目前最主要的安防监控手段。视频监控中的人员识别一般利用生物特征进行识别，如人脸、指纹和姿态。目前大部分的生物特征识别都是使用单模式生物特征进行识别，即只使用一种生物特征，这种方法的缺陷体现在两方面：1）在获取原始生物特征数据的时候比较容易受外部环境影响，如果在注册人员信息的时候没有采集到正确的生物特征数据，会导致严重的人员识别问题；2）随着现在科学技术的飞速发展，单模式下的生物特征越来越可能被伪造，使得安全隐患日益加重。因此，人们开始研究采用几种生物特征融合的多模态人员识别方法。

目前视频监控中的人员识别多通过实时人脸识别实现，其中大部分基于深度学习实现，利用算法构建深度神经网络，使用训练得到的模型组成实时人脸识别系统。陈富强采用MTCNN和FaceNet实现一个视频考勤的系统；方国康等利用MTCNN和基于Resnet改造的卷积网络设计了一套针对ARM平台的实时人脸识别方法。但是以上方法在实际应用时受距离和清晰度等因素影响，导致经常无法捕捉到可用的人脸信息，从而无法进行人员识别。

现在人们开始研究利用人的姿态进行人员识别，使用姿态提取生物特征的优点是：首先，采集姿态信息不易被发觉，不具有侵犯性；其次，伪造姿态信息的难度较大，采集到的信息具有高辨别性；最后，对捕捉用的摄像头位置以及像素要求不高，不需要高清晰度的画面，并且远距离条件下也能够成功采集。目前的姿态识别大部分基于深度学习完成，Shiraga等人设计了GEINet，将步态能量图作为输入进行训练；Thapar等将步态轮廓图作为输入，利用3D卷积网络完成特征提取；Chao等人提出了GaitSet模型，利用深度学习网络自身学习提取时序信息，再加以利用。但是姿态一方面容易因外部环境变化而改变，另一方面自身穿着以及负重与否也会影响人的姿态，因此姿态识别的准确率一般只有80%~90%，低于人脸和指纹等生物识别方法，不能满足实用方面的要求。

行人重识别指的是多摄像头下的行人追踪，目前主要也是通过深度学习实现，Ding等人基于三元组搭建深度学习网络，用于行人重识别；Liu等人提出一个多尺度的三元组卷积神经网络；Cheng等人改进了三元组损失函数，并在基于整个行人的网络结构上增加了4个基于身体部分的通道。

发明内容

为了克服视频监控中单模式人员识别的缺点，本发明提供了一种基于人脸和姿态的多模态人员识别方法，其成本较低且易于维护，比单模式下的人员识别结果更加准确，能够较好地识别处于视频监控中的人员。

一种基于人脸和姿态的多模态人员识别方法，人员在某地点被摄像头拍摄时，包括如下步骤：

1）如果某个姿态图像可以被捕获，分配一个数字i，捕获所用的矩形框为R1[i]，i作为该矩形框的标签；

2）如果从捕获的姿态图像中能够识别出姓名A1[i]，得到的最小余弦距离为a[i]，如果a[i]小于姿态识别阈值m，把数字标签i改为姓名标签A1[i]；