[发明专利]基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法

说明书

本发明公开了一种基于联合注意力机制孪生Margin‑Softmax网络的行人重识别方法。首先提出一个具有空间‑通道联合注意力机制的AAM‑Softmax识别模型，将局部特征和全局特征进行结合，并将度量学习融于分类中，有利于提升特征的辨别力。然后提出一个结合识别损失和验证损失的孪生Margin‑Softmax网络，将训练好的AAM‑Softmax识别模型作为两个权值共享子网络的特征编码器以提取图像对特征，在识别损失和验证损失的联合监督下进行训练该网络，可有效学习出具有辨别力的特征用于行人重识别。与主流行人重识别方法相比，本发明方法可获得更优的性能。本发明可有效应用于智能监控及公共安全等领域。

技术领域

本发明涉及行人重识别技术，具体涉及一种基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法，属于计算机视觉领域。

背景技术

行人重识别(Person re-ID)是计算机视觉的重要研究课题，目前已广泛用于视频监控和公共安全领域。行人重识别是利用计算机视觉技术，跨设备检索图像/视频序列中是否存在特定行人的技术。行人重识别研究主要集中于特征表示(Feature Representation)和度量学习(Metric Learning)两方面。随着深度学习的发展，行人重识别取得了很大的突破。深度度量学习旨在通过网络学习深度嵌入特征之间的相似度(同一行人的不同图像相似度高于不同行人的不同图像)，其方法是缩小特征类内距离，同时增大特征类间距离。但是，度量学习对所选样本对的依赖性较高，并且只考虑了部分样本，而没有考虑特征空间样本的全局结构。在深度特征表示方面，通过卷积神经网络(Convolutional NeuralNetwork，CNN)自动提取图像的特征表示。行人重识别通常被看作是分类/识别问题或验证问题。分类/识别任务是指利用行人的ID或属性作为标签来训练分类网络，而验证任务是指是判断输入图像对是否属于同一个人。识别模型具有丰富的ID标签，但其训练目标并未考虑相似性度量，而验证模型在训练阶段进行相似性度量，但其训练标签很弱(相同/不同两类标签)，而且没有考虑图像对与数据集中其他图像之间的关系。因此，将两种模型的优势进行结合，可以有效训练出具有辨别力的嵌入特征。

发明内容

本发明为解决上述问题提供了一种基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法。该网络具有两个权值共享的子网络，分别识别一对输入图像的ID；同时，计算两个子网络提取的嵌入特征之间的距离，用以验证输入图像对是否属于同一个人。该网络在识别损失和验证损失(均为Margin-Softmax损失)的联合监督下进行训练，可有效地学习出具有辨别力的嵌入特征用于行人重识别。

本发明通过以下技术方案来实现上述目的：

1、本发明提供一个具有空间-通道联合注意力机制的AAM-Softmax识别模型，其步骤及要求如下：

(1)提供一个AAM-Softmax识别模型，该模型的特征嵌入模块(Feature EmbeddingModule)由ImageNet预训练的Resnet_50、全局平均池化(Global Average Pooling，GAP)层和批归一化(Batch Normalisation，BN)层以及空间-通道联合注意力机制构成，用于从原始输入图像中提取特征。采用附加角度余量Softmax(Additive Angular Margin Softmax，AAM-Softmax)作为分类器，在训练阶段，以每个行人的ID作为标签进行训练。AAM-Softmax通过对Softmax施加附加角度余量惩罚，可在超球面空间上同时提升类内特征的紧凑性和类间特征的差异性，从而学习具有辨别力的特征。Softmax分类器已广泛用于深度学习中，softmax损失表达式如式(1)所示：