[发明专利]一种基于卷积神经网络的跨模态行人重识别方法

权利要求书

1.一种基于卷积神经网络的跨模态行人重识别方法，其特征在于，所述基于卷积神经网络的跨模态行人重识别方法，包括：

获取带有身份标注的跨模态训练数据集，所述训练数据集中每个训练样本包括一个身份对应的红外线模态图像和日光模态图像；

将训练样本输入到基于Resnet-50构建的网络模型中，将所述Resnet-50第三个残差层中第一个残差快输出的特征图记为F₃，所述特征图F₃送入3个分支分别进行处理，得到特征图f_g、f_l1、f_l2、f_l3、f_l4、f_l5，包括：

第一分支包括Resnet-50第三个残差层剩余的残差块和第四个残差层，提取出全局特征图f_g；

第二分支包括Resnet-50第三个残差层剩余的残差块和第四个残差层，通过垂直均匀切片得到局部特征图f_l1、f_l2；

第三分支包括Resnet-50第三个残差层剩余的残差块和第四个残差层，通过垂直均匀切片得到局部特征图f_l3、f_l4、f_l5；

分别计算红外线模态和日光模态特征图F₃、f_l1、f_l2、f_l3、f_l4、f_l5之间的特征对应关系；

对红外线模态和日光模态特征图F₃、f_l1、f_l2、f_l3、f_l4、f_l5进行特征重建，得到重建特征图

构建联合损失函数，根据红外线模态和日光模态特征图f_g、F₃、f_l1、f_l2、f_l3、f_l4、f_l5以及重建特征图计算联合损失，进行反向传播，更新网络模型的网络参数；

采用训练好的网络模型提取查询图像的特征，与数据库中图像的特征进行比对，识别出查询图像中行人的身份。

2.根据权利要求1所述的基于卷积神经网络的跨模态行人重识别方法，其特征在于，所述第一分支的第四个残差层带有下采样。

3.根据权利要求1所述的基于卷积神经网络的跨模态行人重识别方法，其特征在于，所述计算红外线模态和日光模态特征图F₃、f_l1、f_l2、f_l3、f_l4、f_l5之间的特征对应关系，计算公式如下：

C(i，j)＝f_RGB(i)^T·f_IR(j)

其中，f_RGB(i)和f_IR(j)分别表示日光模态特征图和红外线模态特征图位置特征向量，i表示日光模态特征图i位置，j表示红外线模态特征图j位置，C(i，j)表示位置特征对应关系。