[发明专利]一种基于图像文本双通道联合的行人重识别方法

权利要求书

1.一种基于图像文本双通道联合的行人重识别方法，其特点包括以下步骤：

(1)构建图像通道，使用Resnet50作为基准网络提取特征，并在最后一层提取出特征后构建图像通道的全局分支和局部分支，分别计算全局分支和局部分支的ID损失；

(2)构建文本通道，使用Simple Recurrent Units(SRU)作为骨架网络提取文本特征，将文本特征经过BN层归一化后用于ID损失的计算；

(3)将经过BN层前的文本特征与视觉特征进行Concat得到联合特征，对联合特征进行优化，计算其三元组损失，实现文本特征对视觉特征的辅助优化；

(4)联合多种任务的损失函数更新网络，利用局部特征增强图像通道对局部细节的关注度，使用文本特征辅助优化视觉特征，促进视觉特征学习到更多与文本特征互补的细节信息。

2.根据权利要求1所述的方法，其特点在于步骤(1)中构建具有全局分支和局部分支的图像通道，构建方法如下：

使用在ImageNet上进行了预训练的CNN模型，CNN模型的主干网络由ResNet50网络构成，将Resnet50的最后一个下采样模块的步幅由2变为1，得到具有更多信息的特征f_h，将特征f_h送入局部特征分支进行分割得到六块局部特征，对这六块局部特征分别计算其ID损失；将f_h送入全局特征分支，通过全局平均池化后得到用于计算三元组损失的特征f_g，对f_g进行归一化操作得到f_j用于全局特征的ID损失计算。

3.根据权利要求1所述的方法，其特点在于步骤(2)中构建文本通道，构建方法如下：

使用Simple Recurrent Units(SRU)作为文本通道的骨架网络提取文本特征f_d用于三元组损失的计算，之后对f_d进行归一化操作得到f_t用于文本特征的ID损失计算，对于输入图像或文本以及其标签使用表示，ID损失由多分类交叉熵l_ce来表示，使用软交叉熵损失函数-qlogp进行监督，其计算公式为：

式中，F(x_i|θ)代表特征提取网络，C代表分类器。

4.根据权利要求1所述的方法，其特点在于步骤(3)中文本特征与视觉特征的联合操作，计算三元组损失，联合方法如下：

将给定图像的视觉特征f_g和其对应的文本特征f_t进行Concat操作，并送入全连接层得到最后的融合特征f_it，其计算公式为：

m＝Concat(f_g,f_t) (3)

式中，h(·)为激活函数，在全连接层采用激活函数，并且使用了Dropout来防止网络过拟合，将丢弃率设置为0.5，使用三元组损失训练融合特征f_it，使得相同身份的图像样本距离更加接近并将不同身份的样本推远，其计算公式为：

式中，表示从数据集中随机抽取的样本，表示的正样本，表示的负样本，α为和距离与和距离的最小间隔。

5.根据权利要求1所述的方法，其特点在于步骤(4)中图像通道通过局部信息得到了增强，并且在文本特征的辅助下视觉特征会注意到更多被忽略掉的细节信息，使视觉特征提取网络更具有鲁棒性，得到更强的特征表征能力，多任务加权的总损失函数的输出梯度受到局部特征和文本特征的影响，其计算公式为：

式中，为全局特征的ID损失，为局部特征的ID损失，为文本特征的ID损失，为三元组损失，λ_t、λ_pi是平衡参数，λ_t＝0.2，λ_pi＝0.1，这种多任务加权的训练方式更有利于得到较优的视觉特征提取网络。