[发明专利]一种基于多尺度孪生级联网络的行人重识别方法

权利要求书

1.一种基于多尺度孪生级联网络的行人重识别方法，其特征在于，包括以下步骤：

步骤1，构建数据集；所述数据集包括多个样本组；每个所述样本组包括两张图片样本，分别为彩色图片样本和灰度图片样本；其中，所述灰度图片样本为对所述彩色图片样本灰度化处理后的图片样本；

将所述数据集划分为训练集TrainSet和验证集；

步骤2，构建多尺度孪生级联网络；其中，所述多尺度孪生级联网络包括多尺度孪生级联彩色网络Network_1、多尺度孪生级联灰度网络Network_2、融合层和PCA降维层；

所述多尺度孪生级联彩色网络Network_1和所述多尺度孪生级联灰度网络Network_2的网络结构完全相同；

所述多尺度孪生级联彩色网络Network_1包括第一级联彩色子网络level_1s、第二级联彩色子网络level_2s和第三级联彩色子网络level_3s；

所述多尺度孪生级联灰度网络Network_2包括第一级联灰度子网络level_1g、第二级联灰度子网络level_2g和第三级联灰度子网络level_3g；

采用以下方式，对所述多尺度孪生级联网络进行训练，得到训练完成的多尺度孪生级联网络：

步骤2.1，以3个样本组为一批样本组集合；将每批3个样本组分别表示为：样本组u₁、样本组u₂和样本组u₃；其中，样本组u₁为固定样本；样本组u₂与样本组u₁对应同一个行人，样本组u₂为样本组u₁的正样本；样本组u₃与样本组u₁对应不同行人，样本组u₃为样本组u₁的负样本；

将本批样本组集合输入到所述多尺度孪生级联网络；

步骤2.2，对于每个样本组，其彩色图片样本表示为：彩色图片样本rgb_tu，灰度图片样本表示为gray_tu；

将彩色图片样本rgb_tu输入到多尺度孪生级联彩色网络Network_1，得到第一级联彩色子网络level_1s输出的第一级联彩色行人分类结果classify_1s、第二级联彩色子网络level_2s输出的第二级联彩色行人分类结果classify_2s、第三级联彩色子网络level_3s输出的第三级联彩色行人分类结果classify_3s以及多尺度孪生级联彩色网络Network_1输出的彩色行人融合特征图rgb_features；

将灰度图片样本gray_tu输入到多尺度孪生级联灰度网络Network_2，得到第一级联灰度子网络level_1g输出的第一级联灰度行人分类结果classify_1g、第二级联灰度子网络level_2g输出的第二级联灰度行人分类结果classify_2g、第三级联灰度子网络level_3g输出的第三级联灰度行人分类结果classify_3g以及多尺度孪生级联灰度网络Network_2输出的灰度行人融合特征图gray_features；

其中，彩色图片样本rgb_tu输入到多尺度孪生级联彩色网络Network_1，具体过程为：

步骤2.2.1，彩色图片样本rgb_tu进行缩小操作，得到Scale_a图片样本；对Scale_a图片样本进行进一步缩小操作，得到Scale_b图片样本；对Scale_b图片样本进行进一步缩小操作，得到Scale_c图片样本；

步骤2.2.2，将Scale_a图片样本输入到第一级联彩色子网络level_1s中，第一级联彩色子网络level_1s的处理过程为：

A1)对Scale_a图片样本进行卷积、批量归一化和激活操作，得到行人特征图rgb_feature_a；

A2)对行人特征图rgb_feature_a进行降采样，得到与Scale_b图片样本尺寸相同的行人特征图rgb_feature1；

A3)对行人特征图rgb_feature1进行降采样，得到与Scale_c图片样本尺寸相同的行人特征图rgb_feature2；

A4)对行人特征图rgb_feature2进行卷积和全局平均池化操作，再输入第一全连接层，得到第一级联行人特征图rgb_stag1_feature；

A5)将第一级联行人特征图rgb_stag1_feature输入第二全连接层，得到第一级联彩色行人分类结果classify_1s；

步骤2.2.3，第二级联彩色子网络level_2s的处理过程为：

B1)将Scale_b图片样本进行卷积、批量归一化和激活操作，得到行人特征图rgb_feature_b；

B2)对行人特征图rgb_feature_b和行人特征图rgb_feature1进行行人特征融合，再进行降采样，得到与Scale_c图片样本尺寸相同的行人特征图rgb_feature3；

B3)对行人特征图rgb_feature3进行卷积和全局平均池化操作，再输入第一全连接层，得到第二级联行人特征图rgb_stag2_feature；

B4)将第二级联行人特征图rgb_stag2_feature输入第二全连接层，得到第二级联彩色行人分类结果classify_2s；

步骤2.2.4，第三级联彩色子网络level_3s的处理过程为：

C1)将Scale_c图片样本进行卷积、批量归一化和激活操作，得到行人特征图rgb_feature_c；

C2)将行人特征图rgb_feature_c、行人特征图rgb_feature2和行人特征图rgb_feature3进行行人特征融合，再进行卷积和全局平均池化操作，再输入第一全连接层，得到第三级联行人特征图rgb_stag3_feature；

C3)将第三级联行人特征图rgb_stag3_feature输入第二全连接层，得到第三级联彩色行人分类结果classify_3s；

步骤2.2.5，对第一级联行人特征图rgb_stag1_feature、第二级联行人特征图rgb_stag2_feature和第三级联行人特征图rgb_stag3_feature进行行人特征融合，得到彩色行人融合特征图rgb_features；

步骤2.3，对于每个样本组，将其彩色行人融合特征图rgb_features和灰度行人融合特征图gray_features通过融合层进行行人特征融合，再通过PCA降维层进行降维处理，得到最终的全局行人特征图features；全局行人特征图features经过全连接层，得到全局行人分类结果classifys；

步骤2.4，本批共有3个样本组，对于任意第u_i个样本组，i＝1,2,3，得到第u_i个样本组对应的全局行人特征图全局行人分类结果第一级联彩色行人分类结果第二级联彩色行人分类结果第三级联彩色行人分类结果第一级联灰度行人分类结果第二级联灰度行人分类结果和第三级联灰度行人分类结果

步骤2.5，计算各级子网络的损失值：

步骤2.5.1，将第一级联彩色行人分类结果与第u_i个样本组的样本标签进行比较，得到第一级联彩色行人分类损失值

将第二级联彩色行人分类结果与第u_i个样本组的样本标签进行比较，得到第二级联彩色行人分类损失值

将第三级联彩色行人分类结果与第u_i个样本组的样本标签进行比较，得到第三级联彩色行人分类损失值

将第一级联灰度行人分类结果与第u_i个样本组的样本标签进行比较，得到第一级联灰度行人分类损失值

将第二级联灰度行人分类结果与第u_i个样本组的样本标签进行比较，得到第二级联灰度行人分类损失值

将第三级联灰度行人分类结果与第u_i个样本组的样本标签进行比较，得到第三级联灰度行人分类损失值

步骤2.5.2，采用下式，分别计算得到第一级联彩色子网络level_1s的损失值Loss_1s、第二级联彩色子网络level_2s的损失值Loss_2s、第三级联彩色子网络level_3s的损失值Loss_3s、第一级联灰度子网络level_1g的损失值Loss_1g、第二级联灰度子网络level_2g的损失值Loss_2g、第三级联灰度子网络level_3g的损失值Loss_3g：

步骤2.6，计算多尺度孪生级联网络的损失值Loss_0：

步骤2.6.1，将全局行人分类结果与第u_i个样本组的样本标签进行比较，得到全局行人分类损失值

步骤2.6.2，采用下式，计算得到多尺度孪生级联网络的损失值Loss_0：

步骤2.7，计算样本组之间相似性损失函数值Loss_sim：

步骤2.7.1，计算样本组u₁的全局行人特征图和样本组u₂的全局行人特征图之间的样本距离，表示为：d(u₁,u₂)；

计算样本组u₁的全局行人特征图和样本组u₃的全局行人特征图之间的样本距离，表示为：d(u₁,u₃)；

步骤2.7.2，采用下式，计算初步损失函数值Loss_d：

Loss_d＝d(u₁,u₂)-d(u₁,u₃)+α

其中：α为损失函数系数，取值范围为：αd(u₁,u₃)-d(u₁,u₂)

步骤2.7.3，采用下述方法，得到相似性损失函数值Loss_sim：

如果Loss_d大于0，则Loss_sim＝Loss_d；

如果Loss_d小于等于0，则Loss_sim＝0；

步骤2.8，采用下面公式，得到最后损失函数值Loss_final：

Loss_final＝λ₁Loss_1s+λ₁Loss_2s+λ₁Loss_3s+λ₁Loss_1g+λ₁Loss_2g+λ₁Loss_3g+λ₂Loss_0+λ₃Loss_sim

其中：

λ₁代表各级联子网络的权重系数；

λ₂代表多尺度孪生级联网络损失的权重系数；

λ₃相似性损失函数值权重系数；

步骤2.9，判断最后损失函数值Loss_final是否收敛；如果收敛，则得到训练完成的多尺度孪生级联网络，执行步骤3；如果未收敛，则调整多尺度孪生级联网络的网络参数，以另一批样本组为输入，返回步骤2.1，对多尺度孪生级联网络进行迭代训练；

步骤3，采用验证集对训练完成的多尺度孪生级联网络进行精度验证测试，如果测试精度满足要求，则得到验证通过的多尺度孪生级联网络；

步骤4，采用多尺度孪生级联网络，对输入的行人图片进行特征识别，得到行人特征识别结果。