[发明专利]一种基于多模态信息的跨外观行人重识别方法

说明书

本发明提供了一种基于多模态信息的跨外观行人重识别方法，包括以下步骤：预处理跨外观行人重识别数据集；从视觉图像中获取行人的轮廓图像与部件语义图像；利用网络模型提取特征矩阵；将三个特征矩阵拼接为融合特征矩阵；对四个特征矩阵，分别进行池化下采样获取特征；再分别使用批次归一化和全连接层获取分类特征；计算损失；损失层梯度反向传播，更新网络模型及其全连接层的权值参数；重复上述步骤，直至网络模型收敛，或者达到最大迭代次数；使用融合推理特征作为行人特征表示进行检索，融合推理特征由融合特征采用批次归一化获取。本发明有效地缓解了网络过于关注行人外观信息的问题，提升了跨外观行人重识别模型的检索性能。

技术领域

本发明属于神经网络技术领域，特别涉及一种基于多模态信息的跨外观行人重识别方法。

背景技术

行人重识别，也称为行人检索，其目标是解决跨时间、跨摄像头、跨场景的行人匹配问题。当给定一个感兴趣的行人目标之后，理想的行人重识别系统应该识别出不同时间、不同地点、不同设备中再次出现的该目标行人。现有的行人重识别任务主要集中于短时间内的同外观行人重识别，具备衣着、配饰等外观变化的长时间、跨外观行人重识别相关方法严重缺乏。事实上，跨外观行人重识别的应用极为普遍：长时间走失人员的对比识别、顾客的商业行为分析等。

目前监控环境中采集的跨外观行人重识别公开数据集主要包含NKUP+和PRCC，分别包含40217和33698张行人图像。而对于跨外观行人重识别研究，其中一部分工作专注于研究行人图像中不同部位之间的关联，如人脸、上衣、裤子等，通过调节不同部位局部特征与全局特征的特征融合形成鲁棒的跨外观特征，其典型方法比如CCAN、2S-IDE、3APF等。另一部分工作则尝试在网络中引入对外观变化鲁棒的轮廓、姿态等先验信息，其典型方法有SPT、FSAM等。如SPT算法通过将行人的轮廓图以人体中心为原点，从笛卡尔坐标系采样并转换到极坐标系中以获取更加精细的轮廓特征，最后加之ASE注意力机制就获得了较为完整鲁棒的行人身份特征。现有的行人重识别模型往往将注意力集中于衣着颜色、纹理等行人外观信息，模型的识别能力不够理想。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于多模态信息的跨外观行人重识别方法，通过降低模型对传统特征的依赖性来提升跨外观行人的可辨识度，并在网络中引入了经预训练网络提取的行人边缘和部件语义先验信息，三种不同模态的信息使得模型综合学习了视觉图像中的细节信息和对外观鲁棒的高层语义信息，有效地缓解了网络过于关注行人外观信息的问题，提升了跨外观行人重识别模型的检索性能。

本发明采用的技术方案是：一种基于多模态信息的跨外观行人重识别方法，包括以下步骤：

步骤1：利用数据增强策略预处理跨外观行人重识别数据集；数据增强策略包含：缩放、随机水平翻转、填充、随机裁切、减均值除方差和随机擦除。

步骤2：使用经过公开数据集预训练的轮廓识别网络和语义分割网络分别从预处理过的图像中获取行人的轮廓图像与部件语义图像。

使用预训练的轮廓识别网络和语义分割网络分别从预处理过的行人的视觉图像中分别提取出轮廓图像和部件语义图像，三种不同模态的图像均使用RGB彩色图像进行表示。

步骤3：利用三个非共享权重的轮廓特征提取网络模型、视觉特征提取网络模型和语义特征提取网络模型分别对应从轮廓图像、视觉图像和部件语义图像提取出行人的高维轮廓特征矩阵、高维视觉特征矩阵和高维语义特征矩阵。表现为将数据输入特征提取网络模型，获取网络模型分类层之前输出的特征图。

步骤4：将高维轮廓特征矩阵、高维视觉特征矩阵、高维语义特征矩阵拼接为融合特征矩阵。使用拼接(Concatenate)的方式对不同模态信息的特征进行融合，在没有添加诸如注意力机制等方法所需的额外参数以及训练时间的同时，即可融合不同模态特征在不同侧重方向的检索特点，综合提升模型的跨外观检索能力。