[发明专利]基于局部-全局协作的无监督视频行人再识别方法及系统

权利要求书

1.基于局部-全局协作的无监督视频行人再识别方法，其特征是，包括：

对待识别视频数据进行行人检测，同时进行行人行动轨迹追踪处理，得到总的行人追踪片段；

在总的行人追踪片段中，为每个身份类别，选择一个行人追踪片段，作为一次性标记数据，构成有标记的行人追踪片段，剩余行人追踪片段作为未标记的行人追踪片段；

利用有标记的行人追踪片段，对卷积神经网络模型进行训练，得到初始的特征提取器；卷积神经网络的损失函数，包括：身份分类损失函数和信息损失函数；

所述身份分类损失函数，是指：

其中，z_i,j＝μ_i,j+∈σ_i,j,具体地，N_l为有标记行人追踪片段数目；T为每一个行人追踪片段所包含图像数目；m_i,j为第i个行人追踪片段表示矩阵M_i＝[f_i,1,…,f_i,T,g_i]的第j列；f_i,j为行人追踪片段中第j个图像经过训练好的特征提取器处理后得到的特征表示向量；g_i为对F_i＝[f_i,1,…,f_i,T]执行均值池化操作后得到的向量；和分别为全连接层映射；p(c_i|z_i,j)为一个全连接层预测出的当前输入z_i,j为第c_i个行人身份的概率值；

所述信息损失函数，是指：

L₂＝KL[p(Z|M),r(Z)],

其中，Z_i＝[z_i,1,…,z_i,T+1],r(Z)为标准多元正态分布，p(Z|M)为预测结果的分布，KL为相对熵；

向量提取步骤：基于初始的特征提取器分别提取未标记行人追踪片段与有标记行人追踪片段的局部-全局特征向量；

基于未标记行人追踪片段与有标记行人追踪片段之间的局部-全局特征向量的相似性，对未标记的行人追踪片段进行伪标记，得到伪标记的行人追踪片段；

具体步骤包括：

(1)：采用初始的特征提取器，抽取有标记的行人追踪片段的全局特征和局部特征；将未标记行人追踪片段输入到已经训练好的特征提取器中，进行特征提取，提取出每一帧图像的特征向量，将所有帧图像的特征向量进行拼接，得到未标记行人追踪片段的局部特征表示；

对未标记行人追踪片段的局部特征表示进行均值池化操作，得到未标记行人追踪片段的全局特征表示向量；

采用初始的特征提取器，抽取未标记的行人追踪片段的全局特征和局部特征；将有标记行人追踪片段输入到已经训练好的特征提取器中，进行特征提取，提取出每一帧图像的特征向量，将所有帧图像的特征向量进行拼接，得到有标记行人追踪片段的局部特征表示；

对有标记行人追踪片段的局部特征表示进行均值池化操作，得到有标记行人追踪片段的全局特征表示向量；

(2)：计算未标记行人追踪片段的全局特征与有标记的行人追踪片段的全局特征之间的第一相似度值；

(3)：计算未标记行人追踪片段的局部特征与有标记的行人追踪片段的局部特征之间的第二相似度值；

(4)：将第一相似度值与第二相似度值进行加权求和，得到未标记行人追踪片段与有标记行人追踪片段之间的最终相似性得分；

(5)：选择最终相似性得分最大值所对应的有标记的行人追踪片段的标签，作为未标记的行人追踪片段的伪标签；将最终相似性得分作为对应伪标签的置信度分数；

利用伪标记的行人追踪片段对初始的特征提取器进行重新训练，得到重新训练好的特征提取器；返回向量提取步骤，直至所有伪标记行人追踪片段被筛选出用于训练特征提取器。

2.如权利要求1所述的方法，其特征是，对训练视频数据进行行人检测，是使用DPM行人检测器进行行人检测。

3.如权利要求1所述的方法，其特征是，进行行人行动轨迹追踪处理，是使用GMMCP行人追踪器进行行人追踪。