[发明专利]一种基于多层神经网络的跨场景行人重识别的方法

摘要

本发明公开了一种基于多层神经网络的跨场景行人重识别的方法，其步骤如下：(1)采集当前场景下摄像头中的行人视频，截取视频帧；(2)对步骤1截取到的视频帧中的行人图像进行特征提取和降维处理，使用样本对构成目标域训练集X_t，得到测试集X_o；(3)对相关场景下的带标识数据进行处理，使用样本对构成源域训练集X_s；(4)建立训练集X，X＝[X_s,X_t]；(5)使用X来训练多层神经网络模型；(6)根据步骤5得到的模型在测试集X_o中对待识别样本进行识别。本发明选用具备可实现复杂非线性映射的多层神经网络作为学习模型，使用迁移学习思想将相关场景的带标识数据加入到新场景的模型学习中，使得对新场景的学习更准确有效。

主权项

1.一种基于多层神经网络的跨场景行人重识别的方法，其特征在于，包括以下步骤：步骤1.采集当前场景下摄像头中的行人视频，截取视频帧；步骤2.对步骤1截取到的视频帧中的行人图像进行特征提取和降维处理，得到当前场景下带标识的目标域训练数据和不带标识的目标域测试集x_ti和x_oi分别是目标域训练样本和目标域测试样本，y_ti是x_ti的标识，N_t和N₀分别是目标域训练样本和测试样本的数量，根据样本的标识，将具有相同标识的训练样本组成正样本对，不同标识的训练样本组成负样本对，样本对构成目标域训练集X_t；步骤3.使用步骤2所述的特征提取和降维方法对相关场景下的带标识数据进行处理，根据样本的标识，将具有相同标识的训练样本组成正样本对，不同标识的训练样本组成负样本对，样本对构成源域训练集X_s，x_si是源域训练样本，y_si是x_si的标识，N_s是源域训练样本的数量；步骤4.建立训练集X，X＝[Xs,Xt]；步骤5.使用训练集X来训练多层神经网络模型；步骤6.根据步骤5得到的多层神经网络模型在目标域测试集Xo中对待行人重识别的样本z进行行人重识别；其中，上述步骤2所述的对步骤1截取到的视频帧中的行人图像进行特征提取和降维处理，其特征在于：首先将待提取特征的图像进行归一化处理，图像分块为像素大小，图像的每一小块在水平和垂直方向的区域块重叠率为50％；然后对于分块后的图像进行特征提取，主要提取RGB、YCbCr和HS颜色特征共8个颜色通道，建立16bin的直方图，以及提取HOG和LBP特征并建立直方图；对于每个行人图像共有75个分块，根据特征提取的内容，每个块中有484维的特征向量；再采用主成分分析方法对行人图像的高维特征进行降维处理；上述步骤5所述的使用训练集X来训练多层神经网络模型，其特征在于，所述多层神经网络由输入层、多个隐含层和输出层组成，其中第一层是输入层，第二层到第M层是隐含层，最后一层即第M+1层是输出层，层与层之间是全连接，前一层的任意一个神经元与后一层的任意一个神经元相连；所述建立使用训练集X来训练多层神经网络模型包含以下步骤：步骤5.1.初始化第1层到第M层的权重矩阵和偏置向量其中b^(m)初始化为0向量，W^(m)中的每个分量服从均匀分布，其中表示W^(m)的第i行第j列个元素，当m＝1时，n的值等于神经网络第一层上的神经元数，当m＝2,...,M时，n的值等于神经网络第m‑1层上的神经元数；步骤5.2.所述多层神经网络的第一层接受输入数据集，即训练集X；步骤5.3.每一次迭代，通过下式计算得到所述多层神经网络第一层的输出h(1)：其中是非线性激活函数，可以是tanh或者sigmoid函数，x表示X中的任意样本；步骤5.4.将h⁽¹⁾作为隐含层的输入，隐含层逐层前向传播，每个层将前一层的输出作为本层的输入，通过下式计算得到所述多层神经网络的第m层的输出其中第M层的输出记为f(x)：步骤5.5.根据步骤5.4得到的f(x)，建立源域和目标域的跨场景相似性度量SMCS(similarity measure for cross scenario)：其中||·||₂表示2‑范数运算，式(5)的第一项为目标域所有行人样本f(x)的均值，第二项是源域中正样本对的行人样本的f(x)的均值，第三项是源域中负样本对的行人样本的f(x)的均值，正样本对的行人样本标识为行人数为N_s+，负样本对的行人样本标识为行人数为N_s‑N_s+；步骤5.6.在所述多层神经网络的输出层建立多层神经网络模型的最优化函数J：其中g()是Logistic损失函数α和β都是正常数，源域X_s和目标域X_t训练集中的样本对(x_i,x_j)参与式(6)的第一项的计算，i和j分别表示样本的标号，如果样本对(x_i,x_j)是正样本对，则l_ij＝1，如果样本对(x_i,x_j)是负样本对，则使用下式定义l_ij：其中函数τ是一个正常数，||·||_F表示F‑范数运算；采用梯度下降法求解式(6)中的和其中λ是学习率，对式(6)求导，得到和具体的计算式如下，按照从输出层到输入层的方向调整W^(m)和b^(m)的值，其中^T表示矩阵的转置运算，当m＝1,2,...,M‑1时,和具体的计算式如下：当m＝M时,和具体的计算式如下：其中Θ表示点积运算，c、和可用下式计算，步骤5.7.根据步骤5.6得到的的值计算式(6)的值，记为J_k，其中k表示当前迭代的次数，计算与上一次迭代得到的最优化函数J_k‑1的差值，判断|J_k‑J_k‑1|是否小于ε或者k的值是否大于最大迭代次数，若不是，则转向步骤5.3；若是，则当前和为模型最优解，至此模型训练完毕，转向步骤6；上述步骤6所述的根据步骤5得到多层神经网络模型在目标域测试集X_o中对待行人重识别的样本z进行行人重识别，其特征在于：将待行人重识别样本z和数据集X_o中的每个待匹配图像的样本代入步骤5得到多层神经网络模型，计算的值，其中x_oi∈X_o，如果的值小于阈值τ，则确定所述目标行人图像中的目标行人和所述测试集中的待匹配行人为同一个行人，如果的值大于阈值τ，则确定所述目标行人图像中的目标行人和所述测试集中的待匹配行人不是同一个行人。