[发明专利]一种基于黎曼流形的行人重识别方法

摘要

本发明涉及模式识别技术领域，具体涉及基于属性学习与黎曼流形相结合的一种行人重识别方法。该方法通过研究行人的表征以及语义属性，提出一种泛化能力更强的模型，通过引入行人属性标签，使用卷积神经网络模型，采用多目标损失函数，模型不仅要准确地预测出行人ID，还要预测出各项正确的行人属性。将行人图片通过训练完毕的卷积神经网络得到卷积层的输出张量，分别计算每一张行人图片的协方差描述子。利用协方差描述子进行特征融合以消除特征冗余，进而研究描述子所在黎曼流形的度量，实现更准确的相似度计算。

主权项

1.一种基于属性学习与黎曼流形相结合的行人重识别方法，其特征在于：A.从行人重识别领域专家设定的属性中选择最具代表性并适合本行人重识别任务的27个属性，包括了与服装相关的属性及与人体生物特征相关的属性。B.构建一个深度学习模型并对该模型进行训练，深度学习模型使用Resnet残差卷积神经网络模型，使用50层的Resnet结构，采用MSRA初始化方法对网络权值进行初始化。C.该卷积神经网络模型中损失函数的设计，在网络最后连接m+1个全连接层，其中m个给出的是对行人属性特征的预测，1个给出对行人ID的预测。采用多目标损失函数，在给定行人图片后，网络可以同时预测行人标签和属性标签。D.在深度学习模型中损失函数的设计采用多目标损失函数，其中，对于行人ID的分类任务采用交叉熵损失函数，对于属性学习的分类任务同样采用交叉熵损失函数，而深度学习模型总的损失函数定义为其中L_ID，L_att分别表示行人ID分类的损失函数和属性标签分类的损失函数，参数λ的作用是平衡两类损失函数在预测任务中的贡献。E.对训练好的卷积神经网络输入测试样本图像，经过多次卷积和下采样的过程得到最后一个卷积层的输出张量F∈RL×L×N。F.在卷积层的输出张量F∈R^L×L×N中，设是F内的N维特征向量，定义输出特征张量的协方差描述子为其中μ是特征张量块中所有特征向量的均值。G.将测试集中的每张行人图片输入训练完毕的卷积神经网络，均如前所述得到输出张量，并分别计算每一张行人图片的协方差描述子。H.这些协方差描述子均是N×N的对称、半正定矩阵，它们构成维线性空间中的一个凸锥，由于N维特征向量的每一维的方差皆非零，所以对称正定的协方差描述子对应于上述凸锥的内部，凸锥内部是一个微分流形，通过对其赋予一个可计算的有效度量，使其满足黎曼流形的要求，即可运用微分几何的方法，给出流形上点之间距离的计算。I.本发明使用一种仿射不变度量用于协方差矩阵构成的凸锥上，该度量的主要思想是：对于黎曼流形M上任一点X，均可作一个切空间SX，并构造切空间SX和流形M的微分同胚，对切空间SX中的向量V，可通过指数映射将V映射成为流形M上从点X出发的等长同向测地线。J.查找所述特征相似度高于预设相似度阈值的参考行人图像；将特征相似度高于预设相似度阈值的参考行人图像所对应的参考行人确认为所述目标行人图像中的目标行人。所述确定所述目标行人图像中的目标行人和所述参考行人图像中的参考行人为同一个行人，按照所述特征相似度由高至低的排序顺序对所述参考行人图像进行排名，以生成相似度排名；在所述相似度排名中查找排名超过预定名次的参考行人图像；将排名超过预定名次的参考行人图像所对应的参考行人确认为所述目标行人图像中的目标行人。