[发明专利]基于文本辅助特征对齐模型的受损行人图像再识别方法及装置

说明书

本发明公开了基于文本辅助特征对齐模型的受损行人图像再识别方法及装置，包括：构建文本辅助特征对齐模型，对文本辅助特征对齐模型进行训练，训练过程分为两个阶段，第一阶段为语句层面特征提取，第二阶段为名词短语层面特征对齐；将测试集中的受损图像输入到深度卷积神经网络‑Corrupted以及全局平均池化层中提取得到受损图像特征向量；将参考集中的正常图像输入到深度卷积神经网络‑Normal以及全局平均池化层中提取得到未受损图像特征向量；使用测试集提取得到的受损特征向量与参考集提取得到的未受损特征向量进行相似度计算。本发明能高效地检索出受损的行人图像在正常行人数据库中相同身份的正常图像，提高行人再识别方法在实际应用场景中的鲁棒性。

技术领域

本发明属于图像识别的技术领域，具体涉及一种基于文本辅助特征对齐模型的受损行人图像再识别方法及装置。

背景技术

近年来，为了提高行人再识别方法在实际应用场景中的准确性和鲁棒性，一些方法不再只针对正常情况下的高质量行人图像进行研究，而是针对各种可能产生的图像受损情形，设计模型来减轻受损导致的行人再识别性能的下降。常见的图像受损情形有摄像头与行人间距过大或摄像头配置较低导致的图像低分辨率问题；行人在密集场景中外观随着遮挡物体发生显著变化的遮挡问题；由于环境光变化剧烈导致捕获的图像过曝或欠曝的光照异常问题；由于镜头种类不同导致的镜头畸变或鱼眼问题。

现有技术中的行人再识别方法有INTACT模型、PVPM模型和IID模型：

(1)INTACT模型针对的是低分辨率行人再识别任务，使用了生成式对抗网络(GAN)来提升原始低分辨率图像的分辨率；生成式对抗网络由生成模型和判别模型组成，生成模型负责生成尽可能真实的所需图像，判别模型负责鉴别输入图像的真假，二者在训练过程中互相博弈，使得最终得到的生成模型性能更强。

(2)PVPM模型针对的是遮挡行人再识别任务，使用姿态估计网络计算人体各个部位的可见分数，实现图像层面的人体部位对齐；PVPM模型由三个模块组成姿态引导的可视化预测模块、姿态引导的注意力模块和特征对应模块；姿态引导的可视化预测模块通过已训练好的姿态估计网络提取出输入行人图像的关键点热力图，经由姿态编码器处理后预测出行人各个身体部分的可见概率。

(3)IID模型针对的是光照异常行人再识别任务，尝试分离图像的光照信息。IID模型使用自编码器结构，通过编码器分离出图像的身份特征和光照特征，再使用生成器将分离的两者特征恢复回原始图像。

但是上述方法中，由于各种不同的环境因素的干扰，会造成行人图像分辨率低、环境物体遮挡行人、图像光照异常等图像受损情形。这些图像受损问题会导致行人图像中能用于行人匹配的有效信息的丢失，最终提取得到的特征向量含有的信息量远少于正常图像特征所含有的信息量。而在进行特征向量匹配时，信息量的不一致会影响匹配的准确率，从而导致行人再识别模型的检索性能下降。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于文本辅助特征对齐模型的受损行人图像再识别方法及装置，基于跨模态特征辅助的特征对齐模型，高效地检索出受损的行人图像在正常行人数据库中相同身份的正常图像，提高行人再识别方法在实际应用场景中的鲁棒性。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了基于文本辅助特征对齐模型的受损行人图像再识别方法，包括下述步骤：