[发明专利]一种基于自注意力机制的行人检索方法

说明书

本发明提供了一种基于自注意力机制的行人检索方法，针对输入的行人图片集，该方法先利用Faster R‑CNN检测行人框，并提取卷积特征图以及计算损失；基于自注意力的行人特征精细化，在对行人卷积特征图进行水平分割后，针对每个分割区域提取行人关键点，计算空间自注意力和通道自注意力，基于这两种自注意力对卷积特征图进行优化调整，计算分割块损失函数；基于随机标签平滑策略的行人特征差异化，在利用L‑Softmax函数生成分类置信度向量的基础上，通过降采样进行随机标签选择，并计算随机标签平滑损失；网络训练，以上述三种损失函数之和最小化为目标训练网络中的参数，生成更具区分性的行人特征，使得最终产生的行人检索结果更精确。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于自注意力机制的行人检索方法。

背景技术

随着社会的逐渐发展，人们的安保意识不断提高，现代高科技手段在维护社会、军事等领域安全扮演着越来越重要的作用，如在城市交通道路、商业中心、军事区域等重要位置部署摄像头进行场景监控。在智慧城市建设、军事区域防护等应用背景下，如何有效利用图像或视频分析技术进行监控视频信息挖掘越来越受到关注，如在监控场景中寻找犯罪嫌疑人、人员行迹追踪等。其中，行人检索旨在根据查询目标行人，在给定图片集或视频中找出同一行人，即只需给出查询目标行人图片和待匹配监控视频(或图片集)，就能有效找出海量视频中的目标人物，实用价值非常明显。

最初，行人检索是以按照行人重识别开展研究的，如在1.Ma B P,Su Y,JurieF.Local descriptors encoded by Fisher vectors for person re-identification[C]//Proceedings of the 12th European Conference on ComputerVision.Heidelberg:Springer,2012:413-422.2.Farenzena M,Bazzani L,Perina A,etal.Person re-identification by symmetry-driven accumulation of local features[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.Los Alamitos:IEEE Computer Society Press,2010:2360-2367中所提出的，虽然在相关数据集上取得了较高的结果，但它们必须使用经过裁剪处理后的行人图片，这与真实的行人检索应用场景不一致。Wang等人通过行人检测和行人重识别两个独立子任务来实现行人检索。如在3.一种基于区域匹配网络的行人检索方法，申请号：CN01910999236.3；4.一种基于部件权重生成网络的行人检索方法，申请号：CN2020102114996中所提出的，即通过行人检测算法提取输入图片中的所有行人，并额外训练一个模型或网络专门用于行人重识别。虽然此方法能够直接以原始图片作为输入，但是两个子任务各自使用独立的模型，即非端到端学习，造成计算资源的浪费。为了解决此类问题，Xiao等人首次将行人检测与重识别一体化的端到端方法，如4.Xiao T,Li S,Wang B C,et al.End-to-end deep learning for person search[OL].[2017-12-31].http://www.ee.cuhk.edu.hk/～xgwang/PS/paper.pdf；以及5.Xiao T,Li S,Wang B C,etal.Joint detection and identification feature learning for person search[C]//Proceedings of the 30th IEEE Conference on Computer Vision and PatternRecognition.Los Alamitos:IEEE Computer Society Press,2017:3376-3385中所提出的，利用Faster R-CNN算法，如6.S.Ren,K.He,R.Girshick,and J.Sun,“Faster r-cnn:Towards realtime object detection with region proposal networks,”in Advancesin neural information processing systems,2015,pp.91–99中所提出的、随机采样损失函数(random sampling softmax,RSS)和在线匹配损失函数(online instance matching，OIM)，实现了端到端的学习。