[发明专利]行人重识别系统的实现方法

权利要求书

1.行人重识别系统的实现方法，其特征在于包括以下步骤：

1)对监控视频进行离线建模，具体包括：

(1)行人检测

应用Fast r-cnn对视频进行行人检测；

(2)行人特征提取

对视频中检测到的行人图像，提取其深度特征和手工特征；

所述行人特征提取包括：

(2.1)深度特征学习

在进行深度特征学习时，采用网络模型，所述网络模型中融合两个损失函数进行参数学习，一个为softmax损失函数，另一个为改进的三元组损失函数；

a)Softmax损失函数

假设行人类别数目为N，输出层为[Z₁,Z₂,…,Z_N]

第一步为计算归一化概率：

Z_i＝Z_i-max(Z₁,Z₂,…Z_N)

第二步为计算损失函数：

其中，p_i表示当前输入样本输入各个类别的概率，M表示一次迭代中所有样本的数目，k_m表示样本m的真实标签，L计算了M个样本的损失和，为当次迭代的损失；

b)改进的三元组损失函数

该损失通过在线的方法构建三元组，不需要提前确定训练使用的三元组对，当获得整个数据集的的特征后，通过特征间欧式距离，对任意一对正样本对，找到距离两张正样本最近的负样本，构成三元组对，计算其损失；

其优化目标为扩大不同类图像间的距离，使不同类图像特征间距离与同类图像特征间距离的距离差大于设定值α,其损失函数公式如下所示：

L_i,j＝max(max_(i,k)∈Bα-D_i,k,max_(j,l)∈Bα-D_j,l)+D_i,j

其中，P表示正样本对的集合，B表示负样本对的集合；

(2.2)手工特征提取

系统中的手工特征采用了LOMO特征，所述LOMO特征对于光照变化和视角变化都具有很好的适应性；

2)在线检索

在进行在线检索时，共进行两个排序，首先对于每个视频中的行人按照同检索目标的相似度进行排序，然后对于所有检索视频计算一个包含检索目标的可能性，将视频进行排序；

所述在线检索的具体方法为：

(1)距离计算

在提取出待检索行人的手工特征和深度特征后，需要计算其与库中行人的特征距离，其计算公式为：

dist＝α*dist_hand+(1-α)*dist_deep

其中，dist_hand和dist_deep分别表示手工特征和深度特征的欧式距离，α表示手工特征的权重，dist的值越大，表示两个行人图像的相似性越小，依据此值对侯选库中图像进行初次排序；

(2)查询扩展

由于采用根据单张图像进行检索，因此引入查询扩展的方法优化检索结果；

在进行查询扩展时，扩展的图像来自于初次检索的检索结果，将初次检索中与查找行人相似性最高的K个图像作为扩展，把扩展图像与检索图像的特征进行融合后作为新的查询输入，进行二次查询，查询扩展的计算方式表示如下：

其中，q_new为经过查询扩展后的输入，f(·)表示图像的特征，q表示原检索图像，r表示第一次检索后的排序结果；

(3)对视频进行排序

在对每个视频中的行人进行排序后，将每个视频中排在前M的图像的相似度距离求平均值作为视频中包含检索目标的可能性，假设某一视频中的行人图像经排序后的相似度距离为{dist₁,dist₂…,dist_n}，则该视频的可能性的计算公式表示如下：

dist_video的值越小，该视频中包含检索目标的可能性越大，根据该值由小到大对视频进行排序。