[发明专利]基于多时空注意力模型的视频行人重识别方法及装置

说明书

本发明公开一种基于多时空注意力模型的视频行人重识别方法及装置，该算法首先利用多空间注意力模型来定位判别视频图像行人区域；再结合时间注意力模型来计算由每个空间注意力模型提取的特征的聚合表示，并进行行人重识别损失函数补偿；最后将待识别图像的特征向量与有效地理区域范围内的视频图像的行人的特征向量对比，搜索出相似度最高的行人目标图像并输出最终重识别匹配结果。本发明算法能解决针对实际过程中，行人视频图像成像质量差，细节显示不清楚，行人部分有用信息被遮挡而特征提取困难导致的视频监控系统重识别准确率不高等问题，并使算法满足实时性需求。

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于多时空注意力模型的视频行人重识别方法及装置。

背景技术

随着人工智能、计算机视觉和硬件技术的不断发展，视频图像处理技术已经广泛应用于智能城市系统中。

行人重识别(Person Re-identification)也称行人再识别，简称为Re-ID。是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。在监控视频中，由于相机分辨率和拍摄角度的缘故，通常无法得到质量非常高的人脸图片。当人脸识别失效的情况下，Re-ID就成为了一个非常重要的替代品技术。Re-ID有一个非常重要的特性就是跨摄像头，所以检索出不同摄像头下的相同行人图片就成为了Re-ID的关键。

大多现存的解决视频行人重识别问题的方法是把每一帧编码成一个向量，然后对所有的帧向量进行聚合得到视频序列的特征嵌入。在实践中，行人经常被部分遮挡，这样就破坏了提取的特征。并且基于视频的行人重识别Re-ID，如果全部利用所有的帧，会因为有很多质量不好的图片(遮挡，光照等因素)对深度学习出来的特征影响很大。从而影响行人重识别的准确率，增加系统的计算量的同时使系统鲁棒性也变差。

针对这些问题，本发明提出一种基于多时空注意力模型的视频图像行人重识别算法。本发明算法能够自动地使用视频序列中条件最好的帧中的路径学到面部、躯干以及身体其他部分的特征，能够很好地对抗遮挡和不对齐，有效提取所有帧中的有用信息，能够很好的提高行人重识别系统在复杂条件下的重识别准确率、并提高系统的鲁棒性。

发明内容

本发明的主要目的是提供一种基于多时空注意力模型的视频行人重识别方法及装置，旨在目前视频行人识别系统在实践时，行人经常被部分遮挡，这样就破坏了提取的特征，并且基于视频的行人重识别Re-ID，如果全部利用所有的帧，会因为有很多质量不好的图片(遮挡，光照等因素)对深度学习出来的特征影响很大，从而影响行人重识别的准确率，增加系统的计算量的同时使系统鲁棒性也变差的问题。

为实现上述目的，本发明提供一种基于多时空注意力模型的视频行人重识别方法，包括以下步骤：

S1基于多空间注意力模型来定位判别视频图像行人区域；

S2基于时间注意力模型来计算由每个空间注意力模型提取的特征的聚合表示，并将聚合表示连接成最终的特征向量；

S3根据步骤S1和S2获取待识别图像的特征向量，将待识别图像的特征向量与有效地理区域范围内的视频图像的行人的特征向量对比，搜索出相似度最高的行人目标图像并输出最终重识别匹配结果。

优选地，步骤S1包括：

S1.1用约束随机抽样策略进行视频图像采样；

S1.2利用采样的视频图像训练多空间注意力模型来定位判别视频图像行人区域。

优选地，步骤S1.1包括：

给定一个输入视频V，将其按照相等时间划分为N个块：{C_n},n＝1...N，从每个块Cn中随机地对图像In进行采样，视频由有序的一组采样帧表示{I_n},n＝1...N。

优选地，步骤S1.2包括：