[发明专利]基于行人外观和步态信息的多模态行人身份识别方法和系统

说明书

本发明提供了一种基于行人外观和步态信息的多模态行人身份识别方法和系统，利用深度卷积神经网络提取监控视频中的行人bounding box和行人轮廓；利用深度卷积神经网络从彩色行人图片序列中提取外观特征；利用深度卷积神经网络从行人轮廓图片序列中提取步态特征；基于注意力网络模型对子网络中提取的外观和步态特征进行特征融合；对融合特征计算特征间的欧式距离进行比对和评估。本发明通过充分考虑监控系统中行人身份识别存在的各种挑战，综合考虑行人的外观和步态信息，对两种信息进行端到端的提取和融合。使网络能在行人服装变化、光线变化、场景变化等干扰下更为鲁棒地识别行人的身份，具有普遍的适用性。

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及一种基于行人外观和步态信息的多模态行人身份识别方法和系统，尤其是涉及在无重叠监控摄像头下的行人身份识别技术。

背景技术

随着人们对公共安全问题的日益重视，视频监控摄像头开始遍布到城市的每个角落，各种识别算法也在安全生产、智能安全、智能交通管理等领域得到了广泛的应用。传统的身份识别方法需要利用高清晰度人脸图像等附加信息。这些局限性使得传统的识别方法难以应用于地铁、街道等杂乱场合，或是光线较暗情况及远距离拍摄情况。与其他方法相比，利用行人的外观信息或者步态信息只需要得到日常监控摄像头中拍摄到的一张图片或者一段视频序列，就可以实现识别行人身份的目的。目前已有的研究大多局限于利用单一的外观信息或者单一的步态信息进行行人身份识别，而对多模态的行人身份识别研究较少。单纯利用行人外观图像进行身份识别的方法，难以在群体统一身穿制服或者目标行人更换衣服的情况下有效进行身份识别(参见WANG G,YUAN Y,CHEN X,et al.“LearningDiscriminative Features with Multiple Granularities for Person Re-Identification”2018ACM MM)。单纯利用行人轮廓序列中的步态信息进行身份识别的方法，又忽视了视频中的纹理、色彩等信息，在日常的应用场合中限制了其识别准确性(参见CHAO H,HE Y,ZHANG J,et al.“Gaitset:Regarding gait as a set for cross-viewgait recognition Proceedings of the AAAI Conference on ArtificialIntelligence”.Vol.33.2019:8126–8133)。在综合多种信息进行行人身份识别领域，存在先利用外观信息对行人身份进行匹配，再利用步态信息对筛选后的图片二次匹配的行人身份识别方法(参见LI S,ZHANG M,LIU W et al.“Appearance and Gait-BasedProgressive Person Re-Identification for Surveillance Systems”2018IEEE FourthInternational Conference on Multimedia Big Data)，但这种方法采用级联的方式连接外观和步态识别模块，当行人服装发生一定改变时会在第一阶段就将系统引入了错误的识别结果。还有工作提出融合人脸和步态的信息进行身份识别(参见GHALLEB A,AMARA N.“Remote person authentication in different scenarios based on gait and facein front view”2017 14th International Multi-Conference on Systems,SignalsDevices)，这种方法限制了只能识别正面拍摄的高清视频中的行人身份，算法的应用条件较为苛刻。

针对目前社会公共安全系统的需求，综合利用外观和步态信息的多模态身份识别系统研究对于提高身份识别的准确度，扩大系统的应用范围和适用条件有着重要作用，因此在本发明中将对多模态的身份识别问题进行深入研究。