[发明专利]一种基于深度学习的行人重识别与特征识别融合方法

权利要求书

1.一种基于深度学习的行人重识别与特征识别融合方法，其特征在于，通过设计并训练一个神经网络，将行人重识别与特征识别相融合，自动判断两幅图像中的行人是否为同一个人，并且预测出图像中行人的多种特征；其中，所述的神经网络，以不同视角下的行人图像作为训练样本，以行人的编号以及行人特征作为训练标签，对网络进行训练；训练得到的网络，用于同时进行行人重识别与特征识别；

具体包括：训练数据的选取，网络结构的设计，损失函数的设计，神经网络的训练，以及通过训练的神经网络，进行行人重识别与特征识别；其中：

(1)选取训练数据

使用Market-1501公开数据集，其中包括行人编号标签以及27种特征标签，对标注的27种特征标签进行归纳与提炼，最后重新标记为12种特征标签，分别为：性别，年龄，头发长度，袖子长度，下装长度，下装类型，是否戴帽子，是否拎包，是否背包，是否拿手包，上衣颜色，下身颜色；

(2)设计网络结构

所述网络是用于融合算法的网络，分为前置网络与全连接层两部分；前置网络主要用于提取图像特征；前置网络采用深度残差网络，是将在ImageNet上预训练过的50层残差网络ResNet-50去掉全连接层；其中，首先是第一层卷积层和池化层，然后是四个由若干残差单元组成的卷积网络，最后是平均池化层；融合算法网络的全连接层包括特征预测子网络和编号预测子网络两部分，编号预测子网络用于对行人编号标签进行预测，特征预测子网络用于对每一种特征进行预测；

(3)设计损失函数

行人重识别损失函数的设计；行人重识别损失函数用于描述行人标签分类的交叉熵损失；假设训练集中有K个行人，一共有n幅样本图像，训练集记为D_i＝{x_i,d_i}，其中x_i表示第i幅训练样本图像，d_i表示x_i的ID即行人编号；

给定一个训练样本x送入网络，网络首先计算出Pool5层的输出提取的特征f；全连接层的输出为z＝,z₁,z₂,…,z_K]∈R^K；经过如下式等号右侧的softmax函数之后得到对每一个ID标签k∈1,…,K的预测概率为:

为了表达简洁，省略掉k和x的关系，对行人ID进行分类的交叉熵损失函数为：

令y为实际的ID标签，则：

在这种情况下，最小化交叉熵损失函数等价于最大化分类正确的概率；

特征识别损失函数的设计；特征识别的损失函数用于描述每一种特征的分类交叉熵损失的加权和；假设训练集中一共有n幅样本图像，每个样本都标记了M种特征，则训练集可记为D_i＝{x_i,l_i}，其中x_i表示第i幅训练样本图像，是标注出的M种特征；对于M种特征，分别计算每种特征的softmax损失；对于某一有m类的特征将样本x分类到第j∈1,…,m类的概率为：

同样地，样本x对特征的交叉熵按照如下方式计算：

令y_m是实际的特征标签，则：

则特征识别的损失函数表示为：

融合算法的损失函数使用上述两者的加权和，使用一个参数λ调节两者的权重：

L＝λL_ID+(1-λ)L_att

其中0≤λ≤1；

(4)训练神经网络

网络使用ReLU函数作为激活函数，其具体形式为：

使用mini-batch的方式进行梯度下降，从而通反向传播进行训练；训练过程中观察整个网络在验证集上的损失，通过调整参数λ以获得最小的损失，进而得到最好的重识别与特征识别效果；

(5)通过训练的神经网络，进行行人重识别与特征识别；

对于训练好的网络，使用时分为行人重识别部分与特征识别部分：

行人重识别，对于不同摄像头视角下的两幅行人图像，归一化后分别送入神经网络，经过网络后提取Pool5层的输出作为提取的特征向量；计算两幅图像对应特征向量间的欧氏距离作为两幅图像的相似度，欧氏距离越小，表示两幅图像越相似，属于同一个行人的概率越大；将相似度与提前设置的阈值作比较，若相似度高于阈值，则判定为同一个行人，否则判定为不同的行人；

特征识别，将待识别的图像送入神经网络，编号预测子网络的输出即为特征的预测结果；根据预测得到的特征，辅助重识别结果判断是否同一个人；如果两幅图像特征预测结果中有多条特征相符，则判定为同一个行人，否则，判定为不同的行人。