[发明专利]基于文本辅助特征对齐模型的受损行人图像再识别方法及装置

权利要求书

1.基于文本辅助特征对齐模型的受损行人图像再识别方法，其特征在于，包括下述步骤：

构建文本辅助特征对齐模型，所述文本辅助特征对齐模型包括深度卷积神经网络-Normal、深度卷积神经网络-Corrupted、全局平均池化层、双向门控循环单元和损失函数层，所述深度卷积神经网络-Normal和深度卷积神经网络-Corrupted的网络结构相同，由多个不同大小的卷积层模块组成，所述全局平均池化层对输入到特征图的每一个通道进行均值化处理，将高维的特征图展平成一维的特征向量，所述双向门控循环单元由两个结构相同的门控循环单元组成，通过可以学习的重置门和更新门来控制信息流动，改变隐藏状态，损失函数层由多个损失函数组成，包括有分类损失函数、跨模态相似度误差函数和特征对齐损失函数；

对文本辅助特征对齐模型进行训练，训练过程分为两个阶段，第一阶段为语句层面特征提取，第二阶段为名词短语层面特征对齐；

将测试集中的受损图像输入到深度卷积神经网络-Corrupted以及全局平均池化层中提取得到受损图像特征向量；

将参考集中的正常图像输入到深度卷积神经网络-Normal以及全局平均池化层中提取得到未受损图像特征向量；

使用测试集提取得到的受损特征向量与参考集提取得到的未受损特征向量进行相似度计算，首先计算测试集受损特征向量与参考集所有未受损特征向量之间的欧式距离，找到欧式距离最小的参考集特征向量，将该参考集特征向量的身份标签标注在测试集受损特征的输入受损行人图像上。

2.根据权利要求1所述基于文本辅助特征对齐模型的受损行人图像再识别方法，其特征在于，所述语句层面特征提取具体为：

语句层面文本特征提取，将行人文本描述t映射成词向量，将词向量输入到双向门控循环单元Bi-GRU中提取文本特征；

将正常图像x^N输入到深度卷积神经网络-Normal中，再经过全局平均池化层处理，得到512维的正常视觉特征向量将受损图像x^C输入到深度卷积神经网络-Corrupted中，再经过全局平均池化层处理，得到512维的受损视觉特征向量

为了能让卷积神经网络和双向门控循环单元生成具有可鉴别性的特征向量，利用数据的身份标签计算这三种特征向量的分类损失L_id；

为了能让正常视觉特征向量和受损视觉特征向量在特征空间中与文本特征有相似的关联性，提供一个跨模态相似度误差函数来对其进行约束，正常视觉特征向量受损视觉特征向量和语句层面的文本特征经过正则化处理后，分别计算视觉特征和文本特征之间的均方误差；

其中MSE(·,·)为均方误差计算，‖·‖为2-范数计算。

3.根据权利要求2所述基于文本辅助特征对齐模型的受损行人图像再识别方法，其特征在于，语句层面文本特征提取具体为：

其中，w_t为第t个词向量，h_t-1为处理完第t-1个词向量的Bi-GRU的隐藏层参数，右箭头表示正向序列，左箭头表示反向序列；将正向与反向的最终输出级联到一起，再经过一个全连接层的处理，得到语句层面的文本特征

是表示正向输出，表示反向输出，Concat(·,·)为级联操作，FC(·)为全连接层。