[发明专利]一种基于互相关注意力机制的跨模态行人重识别方法

说明书

本发明公开了一种基于互相关注意力机制的跨模态行人重识别方法，属于计算机视觉领域中图像检索方向的一个子任务。此方法既要解决不同人物ID的匹配问题，同时还要解决RGB图像和红外图像的模态差异问题。此方法将自然语言处理(NLP)领域比较流行的Transformer经过创新应用到行人重识别领域，用来解决模态间的差异问题。此方法主要内容包括：数据增强、多模态特征提取、跨模态图像生成、跨模态Transformer机制、多重损失函数。本发明的方法中最具创新性的部分是跨模态Transformer机制，既有模态内的self‑attention，又有跨模态co‑attention，可以有效的缩小模态间差异，同时不会丢弃模态特有特征。此方法针对模型各个组成部分的训练要求设计多种损失函数并定义超参数平衡各损失函数的权重，并且网络模型可以端到端训练。

技术领域

本发明属于计算机视觉领域，是领域内关注度较高应用技术。本发明依托现有深度学习技术，具体公开了一种基于互相关注意力机制的跨模态行人重识别方法。

技术背景

自上世纪以来，人工智能技术在不断进步，尤其是在计算机视觉领域，从传统的手工提取特征到现在应用广泛的深度学习技术，不断推进该学术界与工业界的发展。随着技术的进步，越来越多的应用场景和具体研究领域被提出来，比如目前应用最广的人脸识别技术。

行人重识别技术是继人脸识别技术以来又一重要的以人为中心的研究领域，而且该领域在现实社会中具有重要的现实意义和商业转化前景。行人重识别(Person re-identification)是图像检索领域的一个子任务，其目标是依托遍布各地、各场景的监控设备实现跨域行人检索。从其目标来看，该研究领域具有非常广阔的前景，但是现实场景的监控数据受到隐私保护无法公开用来学术研究，所以目前学术界一直是使用标准的不侵犯隐私的公开数据集做研究，由此可知，设计的解决方案不仅要在数据集上取得比较好的结果，同时还要具备比较优秀的泛化能力，从而满足现实的工业应用需求。

目前的行人重识别研究方案主要有基于表征学习、度量学习、局部特征和GAN的方法。表征学习的重点不是计算图片之间的相似度，而是直接把行人重识别当成分类问题或验证问题，直接将行人所属的人物ID属性作为标签来训练模型，或者是判断两张图片是否属于同一个ID。表征学习适用于数据集比较小的情况，若是人物ID数量较多，那么网络的参数量巨大，训练很难收敛，现在不是研究的主流方法。基于度量的学习方法旨在学习两张图片的相似度，其重点是损失函数的设计，使相同ID的距离尽可能小，不同ID的距离尽可能大，常用的损失函数有三元组损失、四元组损失和困难样本采样三元组损失等。基于局部特征的方式是将图像分成几部分分别提取局部特征来解决问题。基于GAN的方法是通过网络生成图像的方式解决问题。

上述方法解决的是RGB图像的行人重识别问题，然而RGB图像在现实的应用场景中具有明显的局限性：黑暗环境、弱光照环境下效果很差。在黑夜或光照很弱的情况下，RGB摄像头无法拍摄到特征明显的照片，这使得方法失效。现有的部分监控摄像头可以在白天用RGB相机拍摄，晚上使用红外图像拍摄，通过这样的方式工作可以提升安全性，由此跨模态行人重识别的问题就被提出来了。RGB图像和红外图像拥有完全不同的特点，此问题不仅要解决行人的匹配问题，更要解决跨模态的问题，通过设计一定的方法减少两种模态的差异是目前研究的重点方向。

在此背景下，我们提出一种基于互相关注意力机制的跨模态行人重识别方法，可以很好的解决跨模态差异的问题，同时在识别精度上相对于目前的最优方法也有所提升。

发明内容

本发明提出了一种基于互相关注意力机制的跨模态行人重识别方法，目标是解决行人重识别领域中RGB图像和红外图像之间的跨模态差异问题，设计方案如下：

基于互相关注意力机制的跨模态行人重识别方法包括以下步骤：

步骤1)，数据加载。包括数据预处理、缩放和裁剪以及数据选择。

步骤2)，设计轻量级残差神经网络架构作为特征提取器。