[发明专利]一种基于黎曼流形的行人重识别方法

权利要求书

1.一种基于属性学习与黎曼流形相结合的行人重识别方法，其特征在于：

A.从行人重识别领域专家设定的属性中选择最具代表性并适合本行人重识别任务的27个属性，包括了与服装相关的属性及与人体生物特征相关的属性。

B.构建一个深度学习模型并对该模型进行训练，深度学习模型使用Resnet残差卷积神经网络模型，使用50层的Resnet结构，采用MSRA初始化方法对网络权值进行初始化。

C.该卷积神经网络模型中损失函数的设计，在网络最后连接m+1个全连接层，其中m个给出的是对行人属性特征的预测，1个给出对行人ID的预测。采用多目标损失函数，在给定行人图片后，网络可以同时预测行人标签和属性标签。

D.在深度学习模型中损失函数的设计采用多目标损失函数，其中，对于行人ID的分类任务采用交叉熵损失函数，对于属性学习的分类任务同样采用交叉熵损失函数，而深度学习模型总的损失函数定义为其中L_ID，L_att分别表示行人ID分类的损失函数和属性标签分类的损失函数，参数λ的作用是平衡两类损失函数在预测任务中的贡献。

E.对训练好的卷积神经网络输入测试样本图像，经过多次卷积和下采样的过程得到最后一个卷积层的输出张量F∈R^L×L×N。

F.在卷积层的输出张量F∈R^L×L×N中，设是F内的N维特征向量，定义输出特征张量的协方差描述子为其中μ是特征张量块中所有特征向量的均值。

G.将测试集中的每张行人图片输入训练完毕的卷积神经网络，均如前所述得到输出张量，并分别计算每一张行人图片的协方差描述子。

H.这些协方差描述子均是N×N的对称、半正定矩阵，它们构成维线性空间中的一个凸锥，由于N维特征向量的每一维的方差皆非零，所以对称正定的协方差描述子对应于上述凸锥的内部，凸锥内部是一个微分流形，通过对其赋予一个可计算的有效度量，使其满足黎曼流形的要求，即可运用微分几何的方法，给出流形上点之间距离的计算。

I.本发明使用一种仿射不变度量用于协方差矩阵构成的凸锥上，该度量的主要思想是：对于黎曼流形M上任一点X，均可作一个切空间S_X，并构造切空间S_X和流形M的微分同胚，对切空间S_X中的向量V，可通过指数映射将V映射成为流形M上从点X出发的等长同向测地线。

J.查找所述特征相似度高于预设相似度阈值的参考行人图像；将特征相似度高于预设相似度阈值的参考行人图像所对应的参考行人确认为所述目标行人图像中的目标行人。所述确定所述目标行人图像中的目标行人和所述参考行人图像中的参考行人为同一个行人，按照所述特征相似度由高至低的排序顺序对所述参考行人图像进行排名，以生成相似度排名；在所述相似度排名中查找排名超过预定名次的参考行人图像；将排名超过预定名次的参考行人图像所对应的参考行人确认为所述目标行人图像中的目标行人。

2.根据权利要求1所述的基于属性学习与黎曼流形相结合的行人重识别方法，其特征在于，所述步骤A中，从行人重识别领域专家设定的属性中选择最具代表性并适合本行人重识别任务的27个属性，包括了与服装相关的属性及与人体生物特征相关的属性。人体生物特征相关属性有3个：性别(男性、女性)，年龄(儿童、青少年、成人、老人)，发型(长发、短发)；服装类相关属性有24个：袖长(长袖、短袖)，裤长(长，短)，下装类型(裤装、裙装)，帽子(有、无)，双肩背包(有、无)，手提袋(有、无)，手包(有、无)，上装颜色(黑、白、红、紫、黄、灰、蓝、绿)，下装颜色(黑、白、粉、紫、黄、灰、蓝、绿、棕)。

3.据权利要求1所述的基于属性学习与黎曼学习相结合的行人重识别方法，其特征在于，所述步骤B中，本发明采用Resnet-50残差卷积神经网络模型，通过随机梯度下降算法调整网络权值，公式为：其中θ^*为更新后的权值，η为学习率，根据学习阶段的不同，可对η的大小进行调整，m为训练集中抽取的用于完成一次权值更新的样本小批次的容量。通过对所有训练样本进行60次迭代训练，即对网络权值的60次更新，训练得到能够精确提取图像语义属性特征的卷积神经网络。每一次迭代取一个样本批次，批次的大小m设置为64，学习率η初始化为0.001，在最后5次迭代时变为0.0001，用随机梯度下降算法来对每个小批次更新网络权值。