[发明专利]一种基于自适应预测模式的LSTM网络行人重识别方法

摘要

本发明公开了一种基于自适应预测模式的LSTM网络行人重识别方法，该方法主要由特征提取和距离度量学习两个部分组成。特征提取部分包括：首先对连续视频序列中的每一帧进行LBP颜色特征提取；然后将连续视频序列所提的LBP颜色特征作为输入送入前向和后向LSTM网络，得到前向LSTM和后向LSTM输出特征；再通过APM‑Net网络来对所得到前向和后向LSTM特征进行自适应选择得到视频帧特征。距离度量以两组行人视频序列特征作为输入，通过XQDA距离度量学习来判断对应的行人是否为同一行人。本发明提出的行人重识别方法解决了现有的行人重识别方法中对遮挡情况识别精度不高的问题。

主权项

1.一种基于自适应预测模式的LSTM网络行人重识别方法，其特征在于：具体包括如下步骤：步骤1，获取行人重识别数据集，该行人重识别数据集包括两个摄像头所拍摄的N个不同行人的2×N个视频序列，从2×N个视频序列中随机抽取J个不同行人的2×J个视频序列作为训练样本集Vtrain，其中表示c摄像机下ID号为j的行人视频训练样本，表示c摄像机下ID号为j的行人视频训练样本的第k帧图像，表示行人视频训练样本的视频总帧数；步骤2，在步骤1所得的训练样本集Vtrain中的所有视频帧图像提取局部二值模式和颜色融合特征得到训练特征集FLBPC；步骤3，制作标签文件，设置LSTM网络参数，把标签文件、训练特征集FLBPC中特征的正向排列作为前向LSTM网络FLSTM的输入，训练得到FLSTM网络模型MFLSTM；把标签文件、训练特征集FLBPC中特征的反向排列作为后向LSTM网络BLSTM的输入，训练得到BLSTM网络模型MBLSTM；步骤4，制作自适应预测模式选择网络APM‑Net的训练样本集APM_Vtrain，然后通过MFLSTM对APM_Vtrain提取FLSTM特征，得到FLSTM特征集ATr_Fflstm；通过MBLSTM对APM_Vtrain提取BLSTM特征，得到特征集ATr_Fblstm；步骤5，设计自适应预测模式选择网络APM‑Net，通过APM‑Net网络对训练样本集APM_Vtrain中的三类样本进行预测，三类样本分别为前向样本、后向样本及双向样本；步骤6，制作标签文件，把标签文件、前向LSTM特征集ATr_Fflstm和后向LSTM特征集ATr_Fblstm作为APM‑Net网络的输入，训练自适应预测模式选择网络APM‑Net，得到网络模型MAPM；步骤7，把步骤1数据集中除去训练样本集Vtrain之外的剩余数据作为测试样本集Vtest，其中步骤8，对Vtest提取APM特征，得到APM特征集AFV；步骤9，对测试数据集Vtest提取的APM特征集AFV进行均值化预处理，得到特征均值集av_AFV；步骤10，将摄像机1中的行人特征均值作为目标行人特征集Obj，摄像机2中的行人特征均值作为待识别行人特征集Gal，其中Obj＝{Obj_train,Obj_test}，Gal＝{Gal_train,Gal_test}，表示摄像机1中的ID号为s的行人视频的特征均值，表示摄像机2中的ID号为v的行人视频的特征均值；把Obj_train和Gal_train作为XQDA的训练特征集，训练得到映射矩阵W和度量核矩阵M；把Obj_test和Gal_test作为XQDA的测试特征集，用得到的W和M进行行人重识别性能测试。