[发明专利]一种基于整体和部分约束的跨模态行人重识别方法

说明书

本发明所述的一种基于整体和部分约束的跨模态行人重识别方法，利用混合交叉的双路径特征学习网络从两种不同的模态中深度提取局部行人特征，然后将提取的特征水平切割为p个部件后映射到公共空间，用于水平切割图像的局部特征和全局特征，提升行人特征表征能力；最后通过模态特定身份损失、交叉熵损失以及提出的损失函数共同协作，减小模态间的差异，提升整体性能；在训练数据时，采用随机水平翻转和随机擦除增强数据，用以扩充训练数据。

技术领域

本发明属于行人重识别技术领域，尤其涉及一种基于整体和部分约束的跨模态行人重识别方法。

背景技术

行人重识别是一项特定的行人检索任务，是指使用计算机视觉技术来确定一个特定行人是否在图像或视频中存在。近年来，随着社会的不断发展，人们对公共安全问题的关注也越来越多，行人重识别引起了人们极大的研究兴趣。目前，大部分研究主要对可见光相机拍摄的人物图像进行处理，然而，这些方式有很多限制。例如，许多犯罪事件发生在晚上，传统的可视摄像机无法捕捉到清晰的图像。因此，这些方法在光线不足的情况下效果是不明显的。

现有的大部分研究都关注于可视模态中的行人重识别，与可视图像相比，红外图像缺乏丰富的色彩信息，所以常用的基于可见光图像的行人重识别方法在红外图像中不可行。经对现有技术文献的检索发现，Wu等人提出了一种名为SYSY-MM01的大规模跨模态行人重识别数据集，同时，他们评估了三个常用的神经网络结构：单流、双流和不对称全连接层，并且提出了深度零填充用于训练单流网络。Zheng等人引入了一个端到端耦合行人重识别学习和数据生成的联合学习框架来解决红外-可见光行人重识别问题。Mang等人提出了一种动态双注意聚集学习框架，避免了模型的学习容易受到噪音的干扰而变得不稳定。Li等人在网络中添加一个X模态来解决模态差异。现有的许多方法着重于缩小红外与可视模态之间的差异，在线索共享的情况下，识别精度不太理想。上述方法从一定程度上解决了跨模态行人重识别问题，但仍存在不足。

因此，跨模态行人重识别中存在如下几个亟待解决的问题，(1)可见模态与红外模态差异较大，现有方法虽有一定成效但仍有较大上升空间；(2)跨模态行人重识别数据集较少，导致训练数据不足。这不仅仅是跨模态行人重识别中的问题，也是行人重识别中普遍存在的问题，学术界没有场景复杂，规模庞大的数据集来研究，工业界有大量数据却因为隐私问题无法开源。

发明内容

针对上述问题，本发明提出了一种混合交叉的双路径特征学习网络(HCDFL)，它从两种不同的模态中深度提取局部行人特征；利用一种新颖的整体约束和部分三元组-中心损失函数，分别从不同模态和同一模态两方面改善类间和类内差异，用于更好表征行人的局部特征，提高整体识别性能；同时，采用随机水平翻转和随机擦除增强数据，用以扩充训练数据。

本发明所述的一种基于整体和部分约束的跨模态行人重识别方法，步骤为：

S1、利用两个独立且相同的分支网络，对同一场景下的RGB图像及红外图像分别提取不同模态下的行人信息特征；

S2、提取到的特征从上到下均匀划分为P条水平部件，将P条水平部件投影至公共空间，并输出模态特定特征和模态共有特征的联合表示；

S3、构建多损失函数，所述多损失函数包括模态特定身份损失、交叉熵损失以及提出的整体约束和部分三元组-中心损失，利用多损失函数对联合特征进行混合和交叉，通过模态距离约束来缩小红外模态和RGB模态间的图像差异，用以获得最佳识别性能。

进一步的，所述多损失函数为：

其中的和分别代表的是RGB分支和红外分支的特定模态softmax身份损失，L_CE表示交叉熵损失，L_WCPTL表示整体约束和部分三元组-中心损失函数；λ表示用于平衡整体损失函数的预训练系数。