[发明专利]一种基于对称卷积神经网络的跨模态行人重识别方法

权利要求书

1.一种基于对称卷积神经网络的跨模态行人重识别方法，其特征是按如下步骤进行：

步骤1、采集N个行人的可见光图像集V，其中第i个行人的j张可见光图像记为V_i，且V_i＝{V_i¹,V_i²,...,V_i^j}，V_i^j表示第i个行人的第j张可见光图片，并为第i个行人赋予第i身份信息y_i；i＝1,2,…,N；

用红外光相机或者深度相机采集N个行人的红外光图像集T，其中第i个行人的m张红外光图像记为T_i，且T_i＝{T_i¹,T_i²,...,T_i^m}，T_i^m表示第i个行人的第m个红外光图像；

由其他已知身份信息的行人的可见光图片和红外光图像来构建检索库；

步骤2、构建由生成器和鉴别器组成的对称卷积神经网络；

所述生成器由两列独立的ResNet50网络构成，其中ResNet50网络由d个残差子模块构成，在第d-1个残差子模块之后添加一列全连接层S₁，在第d个残差子模块之后添加一列全连接层S₂；

所述鉴别器由可见光图像分类器和红外光图像分类器组成；

初始化所述ResNet50网络的网络权重；

采用随机初始化方式来初始化所述全连接层与鉴别器的参数；

步骤3、将所述N个行人的可见光图像集V和红外光图像集T分别输入到两列独立的ResNet50网络中，并在第d-1个残差子模块后输出第d-1组可见光特征信息v_d-1，以及第d-1组红外光特征信息t_d-1，再分别输入所述第d个残差子模块后，输出第d组可见光特征信息v_d以及第d组红外光特征信息t_d；

步骤4、构建第d-1个样本特征空间X_d-1；

从第d-1个残差子模块输出的所有特征信息中，选取P个行人的可见光特征信息和红外光特征信息，每个行人的可见光特征信息v_i,d-1和红外光特征信息t_i,d-1各选取K个特征信息，构建第d-1个样本特征空间X_d-1；

将所述第d-1个样本特征空间X_d-1一起输入到后续的全连接层S₁中，并输出第d-1组可见光特征向量v′_d-1和红外光特征向量t′_d-1；

步骤5、构建第d个样本特征空间X_d；

从第d个残差子模块输出的所有特征信息中，选取P个行人的可见光特征信息和红外光特征信息，每个行人的可见光特征信息v_i,d和红外光特征信息t_i,d各选取K个特征信息，构建第d个样本特征空间X_d；

再将所述第d个样本特征空间X_d一起输入到后续的全连接层S₂中，并输出第d组可见光特征向量v′_d和红外光特征向量t′_d；

步骤6、将所述第d-1组可见光特征向量v′_d-1输入所述可见光图像分类器中，输出可见光的初始概率分布GV，将第d-1组红外光特征向量t′_d-1输入到所述红外光图像分类器中，并输出红外光的初始概率分布GT；

利用式(1)构建身份损失函数L_ID：

步骤7、从所述第d-1个样本特征空间X_d-1中选择第a个行人的第k个特征信息记为锚点样本特征向量，则与锚点样本特征向量具有相同身份信息的第a个行人的第z个特征信息记为第z个正样本特征向量，与具有不同身份信息的第f个行人的第c个特征信息记为第c个负样本特征向量，则利用式(2)建立混合三元损失函数L_TRI1(X_d-1)：

式(2)中,代表锚点样本特征向量与第z个正样本特征向量的欧式距离，代表锚点样本特征向量与第f个行人的第c个负样本特征向量的欧式距离，ρ₁为混合三元损失函数L_TRI1(X_d-1)预定义的最小间隔；

步骤8、从所述第d个样本特征空间X_d中选择第r个行人的第s个特征信息记为锚点样本特征向量，则与锚点样本特征向量具有相同身份信息的第r个行人的第b个特征信息记为第b个正样本特征向量，与具有不同身份信息的第h个行人的第q个特征信息记为第q个负样本特征向量，则利用式(3)建立混合三元损失函数L_TRI2(X_d)：

式(3)中,代表锚点样本特征向量与第b个正样本特征向量的欧式距离，代表锚点样本特征向量与第h个行人的第q个负样本特征向量的欧式距离，ρ₂为混合三元损失函数L_TRI2(X_d)预定义的最小间隔；

步骤9、利用式(4)建立混合三元损失函数L_TRI：

L_TRI＝L_TRI1+L_TRI2 (4)

利用式(5)建立全局损失函数L_ALL：

L_ALL＝L_ID+βL_TRI (5)

式(5)中，β表示混合 三元损失函数L_TRI的系数；

通过随机梯度下降法对式(5)进行优化求解，并进行梯度反向传播，训练所述对称卷积神经网的各个参数，得到初步训练后的对称卷积神经网络模型；

步骤10、将所述第d-1组可见光特征向量v′_d-1输入所述初步训练后的对称卷积神经网络模型中可见光图像分类器中，输出可见光的概率分布GV′，将第d-1组红外光特征向量t′_d-1输入到所述初步训练后的对称卷积神经网络模型中红外光图像分类器中，并输出红外光的概率分布GT′；将所述第d-1组可见光特征向量v′_d-1输入到所述初步训练后的对称卷积神经网络模型中红外光分类器中得到伪可见光概率分布GV″；

利用式(6)构建所述伪可见光特征向量GV″与可见光概率分布GV′之间的散度损失函数L_KL：

L_KL＝KL(GV″,GV′) (6)

式(6)中，KL(·,·)表示两者概率分布的差异值；

利用式(7)建立鉴别器损失函数L_DIS：

L_DIS＝L_ID-αL_KL (7)

式(7)中，α代表L_KL的系数；

步骤11、利用式(8)建立生成器损失函数L_GEN：

L_GEN＝αL_KL+βL_TRI (8)

步骤12、通过梯度下降法依次对式(5)、式(7)、式(8)进行优化求解：

首先对式(5)进行优化求解，训练网络所有参数；

其次对式(7)进行优化求解，在梯度反向传播过程中，仅对鉴别器的梯度进行反向传播，将生成器的梯度置零，从而冻结生成器参数，训练鉴别器参数；

最后对式(8)进行优化求解，在梯度反向传播过程中，仅对生成器的梯度进行反向传播，将鉴别器的梯度置零，从而冻结鉴别器参数，训练生成器参数；

依次训练后使得L_ALL，L_DIS，L_GEN在对抗学习中收敛到最优，当L_DIS达到最优时，鉴别器达到最优，当L_GEN达到最优时，生成器达到最优，从而获得最终的对称卷积神经网络跨模态行人重识别模型；

步骤13、利用最终的对称卷积神经网络模型对跨模态行人重识别进行查询匹配；

将待查询的行人图像输入最终的对称卷积神经网络模型中提取特征，然后与检索库中行人的特征进行相似度比对，并按照相似度的高低排序，从排序列表中找到对应的行人身份信息，从而得到识别结果。