[发明专利]一种基于视频的外观和运动信息同步增强的行人重识别方法

权利要求书

1.一种基于视频的外观和运动信息同步增强的行人重识别方法，其特征在于，包括以下步骤：

步骤1：从长度为T的连续视频中用矩形框将行人框选并裁切出的行人图像序列S＝{I₁,I₂,…,I_T}；

步骤2：构建用于训练的特征提取网络：所述用于训练的特征提取网络包括由3D卷积深度神经网络构成的行人特征提取主干网络，由依次连接的卷积深度神经网络和全连接层构成的外观增强模块AEM，由卷积深度神经网络构成的运动增强模块MEM，一层全局均值池化层和与其连接的全连接层；所述外观增强模块AEM、运动增强模块MEM和全局均值池化层分别与行人特征提取主干网络连接；

步骤3：将行人图像序列S送入行人特征提取主干网络进行特征提取，生成主干特征图BF；将主干特征图BF作为外观增强模块AEM、运动增强模块MEM、全局均值池化层的输入，其中，外观增强模块AEM的输出为行人图像每种属性i出现概率的预测值p_i，运动增强模块MEM的输出为运动特征图f_M；全连接层的输出为身份类别预测概率；对行人特征提取主干网络、外观增强模块AEM、运动增强模块MEM共同训练，利用行人外观属性信息提升主干特征图中的外观信息，并利用行人步态信息提升主干特征图中的运动信息，利用主干特征图BF通过全局均值池化层获得主干特征f_s；共同训练的目标函数为：L＝L_id+L_tri+λ_AL_AEM+λ_ML_MEM；其中，λ_A,λ_M是权重参数,为正数，行人身份分类损失L_id、三元组约束L_tri作用于主干特征f_s，行人属性分类损失L_AEM是外观增强模块AEM的目标函数；均方误差损失L_MEM是运动增强模块MEM的目标函数；上述三个网络模块利用各自的目标函数进行优化，优化时各模块梯度信息均回传至行人特征提取主干网络，对行人特征提取主干网络优化更新，实现端到端的共同训练优化；

步骤4：训练完成后，去除外观增强模块AEM和运动增强模块MEM，保留训练好的行人特征提取主干网络和全局均值池化层作为测试用特征提取网络；

步骤5：在重识别过程中，将行人图像序列S输入步骤4得到的测试用特征提取网络，得到主干特征f_s，通过计算两个行人图像序列主干特征f_s的欧式距离作为相似性判断身份是否相同。

2.根据权利要求1所述的方法，其特征在于，外观增强模块AEM采用行人属性分类损失L_AEM进行监督训练具体包括如下步骤：

(2.1.1)将主干特征图BF送入到外观增强模块AEM，得到行人图像序列S中每种属性i出现概率的预测值p_i；

(2.1.2)对每种属性i，利用属性伪标签进行二值交叉熵损失目标函数计算和训练以增强行人外观信息，即行人属性分类损失其中N为行人属性的种类数，p_i为每种属性i出现概率的预测值。

3.根据权利要求2所述的方法，其特征在于，(2.1.2)中所述的属性伪标签，通过以下方法得到：

(a)构建行人属性识别模型ARM：通过使用包含行人属性标注的大型行人图片数据集训练一个鲁棒的基于图片的行人属性识别模型ARM；

(b)利用行人属性识别模型ARM对行人图像序列S中的每一帧I_t进行对某一属性的分类值预测；

(c)对行人图像序列S中的T帧行人图片的分类预测值取平均，作为整个行人图像序列S对该种属性的预测值；

(d)如果该预测值大于0.5，则将行人图像序列S的该属性伪标签设置为1，否则设置为0；

(e)重复此方法N次，得到N个属性对应的属性伪标签

4.根据权利要求3所述的方法，其特征在于，所述步骤(a)中，行人属性识别模型ARM采用ResNet-50结构，所述包含行人属性标注的大型行人图片数据集选用公开的PETA数据集。