[发明专利]基于残差注意机制时空联合模型的行人重识别方法及装置

说明书

本发明提供一种基于残差注意机制时空联合模型的行人重识别方法及系统，包括通过预训练的ResNet‑50模型对输入行人进行特征提取；构建一个残差注意机制网络，包括残差注意机制模块、特征采样层、全局池化层和局部特征连接层；根据训练好的残差注意机制网络，使用余弦距离来计算特征距离并记为视觉概率；根据训练样本行人标签中的摄像头ID和帧号信息时空概率建模，并对概率模型进行拉普拉斯平滑处理。利用视觉概率和时空概率，最终的联合时空概率，得到行人重识别结果。本发明克服了现有方法忽视摄像头网络中的时间和空间先验信息这一问题，用注意残差机制网络优化网络迭代，加速收敛，并通过优化的贝叶斯联合概率求解，从而使得行人重识别的精度更高。

技术领域

本发明属于行人重识别技术领域，涉及一种基于残差注意机制时空联合模型的行人重识别方法及装置。

背景技术

监控视频由于相机分辨率和拍摄角度的缘故，通常无法得到质量非常高的人脸图片，且行人常呈现多尺度特性，检测和识别难度较大，此时行人重识别成为一个非常重要的替代技术。行人重识别是通过给定监控行人图像实现跨设备检索该，能有效弥补固定视角摄像头的视觉限制，在视频监控、智能安防和智慧城市等领域中有着重要的应用价值。

近年来，随着机器学习理论的发展，基于深度学习的方法被广泛应用于计算机视觉任务，并且获得了相较于传统手工设计方法更好的性能。然而，大多数现存的解决行人重识别问题的方法只利用了标签中的行人身份信息，而忽略了较易采集的摄像头ID信息、图像的时间序列以及图像处在视频中的帧号等时空信息。

基于视觉和时空概率模型的深度学习行人重识别方法，是通过深度学习网络学习视觉概率，并通过贝叶斯联合概率模型来融合先验信息中蕴含的时空概率信息和视觉概率。Huang等人提出基于摄像机网络的行人重识别(Paired Cameras based Person Re-identification，PCPR)，提出了一种兼顾视觉差异和时空约束的概率方法；Lv等人提出了一种多模态的基于贝叶斯融合网络的无监督行人重识别模型，来融合视觉分类结果和时空概率；Wang在此基础上，将时空融合模型框架扩展到监督模型，并进行一系列优化，较传统基于视觉特征的深度学习行人重识别方法有较大的提升。

针对这些问题，本发明提供一种基于深度学习的行人重识别方法，利用残差注意机制时空联合模型学习图像的视觉相似度，通过对时空信息建模，获取时空相似度，并通过优化贝叶斯联合模型求联合概率，得到行人重识别结果。

发明内容

针对现有行人重识别技术存在的不足，本发明的目的是提供一种新的残差注意机制时空联合模型，实现一种基于地图数据与贝叶斯时空联合模型的行人重识别方法。

本发明技术方案提供一种基于残差注意机制时空联合模型的行人重识别方法，包括以下步骤，

步骤a，通过预训练得到的ResNet-50模型对输入行人x进行特征提取，特征矩阵表示为f；

步骤b，构建一个残差注意机制网络，网络结构包括残差注意机制模块、特征采样层、全局池化层和局部特征连接层；

步骤c，设步骤a得到维度为H×W×C的特征矩阵f，以特征矩阵f作为残差注意机制网络的输入，以对应的身份信息y作为目标输出；其中H,W,C分别表示特征图的长、宽和通道数；

根据残差注意机制模块，对特征矩阵f每个空间位置进行通道求平均，作为空间权重矩阵；通过softmax对空间权重矩阵进行激活，来保障卷积核学习到不同的特征，计算注意机制图M_SA，由F_RSA＝f*M_SA+f得到维度为H×W×C的特征矩阵F_RSA；

步骤d，通过特征采样层，将维度为H×W×C的特征矩阵F_RSA采样为维度的局部特征矩阵通过全局池化层计算局部特征向量