[发明专利]基于注意力机制的孪生网络解决换装行人重识别的方法

权利要求书

1.基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，包括由视觉流和轮廓流组成的双流孪生网络结构，所述方法包括以下步骤：

S1分别输入原始图和轮廓图；

S2分别对原始图和轮廓图采用ResNet-50作为骨干网络提取特征；

S3将提取到的特征分别送入注意力分支和全局分支进行处理；

S4将两个经过处理后的流的总输出进行特征融合，获得最后的输出。

其中，整个过程受损失函数模块引导和约束。

2.根据权利要求1所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，所述原始图的特征包括对象的其他身体部位，面部和头发等的颜色信息特征；所述轮廓图的特征包括行人轮廓的身体形状特征。

3.根据权利要求1所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，所述注意力分支由位置注意力模块和通道注意力模块组成，将把ResNet-50的第五层输出经过一个还原层的结果作为输入，分别送进位置注意力模块和通道注意力模块；最后把位置注意力模块和通道注意力模块的输出与输入进行特征融合作为整个注意力分支的总输出。

4.根据权利要求3所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，所述还原层由线性层，Batch Normalization层，ReLU激活层和dropout层构成。

5.根据权利要求4所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，所述位置注意力模块包括：对提取特征后的原始输入特征图A，经过由BatchNormalization层和ReLU激活层组成卷积层得到特征图B,特征图C,特征图D。分别对特征图B,特征图C,特征图D进行重组，然后对特征图B进行转置；再将特征图B和特征图C进行一次矩阵乘法后，经过Softmax运算得到位置注意力图S，将注意力图S与特征图D进行一次矩阵乘法得到基于注意力的权重图，将权重图与原始输入进行逐元素求和运算得到最终的输出特征图E。

6.根据权利要求4所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，所述通道注意力模块包括：对提取特征后的原始输入特征图A进行重组，然后对重组特征图A以及重组转置特征图A进行一次矩阵乘法，经过Softmax运算得到注意力图X；将注意力图X与特征图A进行一次矩阵乘法得到基于注意力的权重图，将权重图与原始输入进行逐元素求和运算得到最终的输出特征图E1。

7.根据权利要求1所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，所述损失函数模块包括交叉熵损失，换装一致性约束以及权重的正则化损失；其中，交叉熵损失与标签平滑处理结合起来作为一个损失函数，与引导网络学习更具区分性的特征。

8.根据权利要求7所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，所述换装一致性约束为缩小换衣服时从同一行人提取的特征之间的距离；其中，换装一致性约束计算如下：

其中，采用余弦约束来缩小跨衣服差异并学习跨衣服不变表示；f代表着行人i在穿着不同衣服A,衣服B时的特征；N代表的是类的总数。

9.根据权利要求1所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，还包括在整个网络对权重进行正交正则化，以减少跨不同层的特征相关性并增强深度网络的表达能力；整个网络的总损失函数由交叉熵损失，换装一致性约束损失和权重正则化损失组成，表示如下：

L＝αL_xent+βL_O.W+γL_CCIC

其中，α，β，γ在公式中作为超参数调整每个损失函数的权重和影响。