[发明专利]基于解纠缠和特征级差异学习的跨模态行人重识别方法

权利要求书

1.一种基于解纠缠和特征级差异学习的跨模态行人重识别方法，其特征在于，包括以下步骤：

采用可见光摄像机和红外摄像机在不同的位置采集多张行人图片形成数据集，并对数据集中的图片进行预处理；

从所述数据集中选取可见光模态的两张输入图像记为x₁和x₂、选取红外模态的两张输入图像记为y₁和y₃，所述图像x₁和y₁共享身份信息，所述图像x₂和y₃不共享身份信息；

获取预先建立的解纠缠图像特征的自编码模型，采用该自编码模型分别对所述图像x₁、x₂、y₁和y₃进行解编码操作，解纠缠出每幅图像的风格特征和内容特征；

获取预先建立并训练好的生成与判别网络，将解纠缠获取每幅图像的风格特征和内容特征以及对应的原图像载入该生成与判别网络中；所述生成与判别网络包括解码器和判别器，所述解码器对所述风格特征和内容特征进行重构得到多个新图像，所述判别器对所述多个新图像和原图像进行判别，从而得到总体对抗损失；

获取预先建立并训练好的特征级差异学习网络，对所述多个新图像和原图像进行特征学习，获取行人识别结果；

所述生成与判别网络和特征级差异学习网络通过级联连接，所述生成与判别网络和特征级差异学习网络共同进行训练，所述生成与判别网络和特征级差异学习网络的总体损失函数包括解码器的损失函数、所述总体对抗损失和特征级差异学习网络的损失函数；

所述自编码模型包括提取不同模态行人图像风格的风格编码器和保持行人图像本身语义的内容编码器；

所述风格编码器的编码过程为和内容编码器的编码过程为和其中，表示图像θ的风格编码器，θ∈{x₁，x₂，y₁，y₃}，表示图像θ的内容编码器，θ∈{x₁，x₂，y₁，y₃}，为风格编码器对可见光模态的图像x₁进行编码后的风格特征，为内容编码器对可见光模态的图像x₁进行编码后的内容特征，为风格编码器对可见光模态的图像x₂进行编码后的风格特征，为内容编码器对可见光模态的图像x₂进行编码后的内容特征，为风格编码器对红外模态的图像y₁进行编码后的风格特征，为内容编码器对红外模态的图像y₁进行编码后的内容特征，风格编码器对红外模态的图像y₃进行编码后的风格特征，为内容编码器对红外模态的图像y₃进行编码后的内容特征；

所述解码器对所述风格特征和内容特征进行重构得到多个新图像具体为：

一方面，可见光模态风格特征和红外模态内容特征作为解码器G的输入，重构生成新的可见光模态行人图像x′₁，可见光模态风格特征和红外模态内容特征作为解码器G的输入，重构生成新的可见光模态行人图像x″₁，可见光模态风格特征和红外模态内容特征作为解码器G的输入，重构生成新的可见光模态行人图像x′₂，

另一方面，红外模态风格特征和可见光模态内容特征作为解码器G的输入，重构生成新的红外模态行人图像y′₁，红外模态风格特征和可见光模态内容特征作为解码器G的输入，重构生成新的红外模态行人图像y″₁，红外模态风格特征和可见光模态内容特征作为解码器G的输入，重构生成新的红外模态行人图像y′₃；

所述判别器对所述多个新图像和原图像进行判别具体为：

将重构生成的可见光模态行人图像x″₁、x″₁、x′₂和真实的可见光模态行人图像x₁输入到判别器中，判别输入的图像是真实的可见光模态行人图像还是解码器重构生成的，将重构生成的红外模态行人图像y″₁、y″₁、y′₃和真实的红外模态行人图像y₁输入到判别器中，判别输入的图像是真实的红外模态行人图像还是解码器重构生成的。