[发明专利]一种利用姿态信息设计多损失函数的行人重识别方法

权利要求书

1.一种利用姿态信息设计多损失函数的行人重识别方法，其特征在于：包括离线提取特征网络模型训练、在线行人重识别两部分主要内容；

步骤(1)、离线提取特征网络模型训练阶段：

(ml)对所有图片进行预处理，原始图片rI_i处理后用I_i表示；

(m2)针对每一张图片检测关节点信息，得到的18个关节点信息存在P_Ii＝{x₁，y₁，......，x₁₈，y₁₈}中，并有对应的布尔型数组label表示是否检测到了不同的关节点，label_i＝(True or False)；

(m3)根据步骤(m2)中提取的关节点信息，推测每一个行人的身高high_i、分别计算头部-躯干-腿部的局部区域信息

(m4)根据步骤(m2)提取的关节点信息，推测行人目标的姿态朝向，记为dir_i＝(1 or 2or 3)，其中等于1的时候表示正向样本，2表示侧向样本，3表示背向样本；

(m5)根据设计的主干网络提取全局特征，根据步骤(m3)提取的局部区域位置信息及分支网络结构提取局部特征，并将每张图片的全局特征与局部特征融合，共同形成表述性特征向量；

(m6)根据数据真实标签计算多分类损失函数以及三元组，同时根据步骤(m4)推测的行人姿态朝向设计五元组并计算五元组损失函数；所述的步骤(m6)包括如下步骤：

(m6.1)计算多分类损失函数误差；

(m6.2)计算三元组约束：

D_id(I_i^a，I_i^p，I_iⁿ)＝d(f(I_i^a)-f(I_i^p))-d(f(I_i^a)-f(I_iⁿ))＜α

其中，是数据集中任意一张基准行人图像，I_i^p表示与基准行人代表同一人的另一张图像，即正样本，I_iⁿ为其他人的图像，即负样本，该三元组输入经过网络计算后得到各自的特征向量{f(I_i^a)，f(I_i^p)，f(I_iⁿ)}，d(f(I_i^a)-f(I_i^p))为基准图与正样本对之间的距离，d(f(I_i^a)-f(I_iⁿ))为基准图与负样本对之间的距离，α为三元组约束的阈值；

(m6.3)计算三元组约束：

D_pose(I_i^a，I_i^ps，I_i^pd)＝d(f(I_i^a)-f(I_i^ps))-d(f(I_i^a)-f(I_i^pd))＜β

其中，表示与姿势相同的正样本，表示与姿势不同的正样本，β为三元组约束的阈值；

(m7)联合步骤(m6)计算的多种损失函数误差训练当前特征提取网络，并分析不同损失函数权重对网络的影响，选择最佳的权重λ₁和λ₂来完成联合训练；所述的步骤(m7)包括如下步骤：

(m7.1)根据步骤(m6)得到的多损失函数误差计算反向传播的联合误差值：

Loss₃(I，w)＝λ₁Loss₁(I，w)+λ₂Loss₂(I，w)

其中，Loss₁表示多分类损失函数，Loss₂表示五元组损失函数，Loss₃表示联合损失函数，λ₁和λ₂为平衡联合损失函数的权重值，λ为平衡五元组损失函数中D_pose三元组的权重值，w为网络参数，表示预测的概率，p_i是目标概率，N是行人种类数量，n是五元组数量；

(m7.2)分析步骤(m7.1)中误差权重参数λ₁和λ₂的选择，确定离线阶段使用的最佳损失函数分配权重；

步骤(2)、在线行人重识别阶段：

(s1)预处理图片库内所有图片I_gallery，并利用步骤(1)离线阶段训练得到的网络模型进行特征提取，根据图片对应的识别信息逐条存储形成特征库F_gallery；

(s2)预处理待分析图片I_query，利用步骤(1)离线阶段训练得到的网络模型进行特征提取，最终的特征向量f_query用作后续步骤(s3)相似性度量的唯一有效信息；

(s3)计算步骤(s2)中提取的f_query与特征库F_gallery之间的特征距离，并进行归一化、排序操作，从中选出相似度大于0.7且排名在前M的图片作为行人重识别的检索结果，其中M的数值根据当前图片库内数量动态选定；

(s4)定期更新图片库及其对应的特征库，重点支持静态库以及由动态视频库检测采集到的动态库两种模态。