[发明专利]前景引导和纹理聚焦的行人重识别模型建立方法及其应用

权利要求书

1.一种基于前景引导和纹理聚焦的行人重识别模型建立方法，其特征在于，包括：

以预训练的图像分类网络为基础网络，将所述基础网络的输出分支作为全局分支，在所述基础网络的最后一个特征层后引入包含BottleNeck模块的局部分支，在所述基础网络的倒数第二个特征层后引入包含前景注意力模块的注意力分支和纹理聚焦解码器，得到待训练网络；所述前景注意力模块用于提取图像的注意力图，所述注意力分支用于输出侧重于表达行人判别性的注意力特征；所述局部分支用于输出侧重于表达行人属性的局部特征；所述纹理聚焦解码器用于对输入图像进行重建，得到带掩膜加权的图像；

以所述纹理聚焦解码器作为所述待训练网络的解码器部分，以所述全局分支、所述局部分支和所述注意力分支作为所述待训练网络的非解码器部分，对所述待训练网络中的非解码器部分和解码器部分进行交替训练，直至达到预设的训练终止条件；

在训练完成后，移除所述待训练网络中的纹理聚焦解码器，并加入特征输出层，得到基于前景引导和纹理聚焦的行人重识别模型；

其中，所述特征输出层用于将所述注意力分支、所述全局分支、所述局部分支输出的特征拼接为输入图像中行人的重识别特征；

所述前景注意力模块包括：通道缩减层、分支提取层、权重生成层、注意力图生成层以及通道恢复层；

所述通道缩减层，用于将输入特征图的通道缩减至预设值，得到第一特征图；

所述分支提取层，用于提取所述第一特征图的序列分支、键值分支和值分支，并转换为对应的中间特征图，依次记为第二特征图、第三特征图和第四特征图；

所述权重生成层，用于对所述第二特征图和第三特征图执行矩阵乘法和Softmax操作，分别得到通道权重矩阵和位置权重矩阵；所述通道权重矩阵中记录了各通道的权重系数，所述位置权重矩阵中记录了各位置的权重系数；

所述注意力图生成层，用于将所述第四特征图分别与所述通道权重矩阵和所述位置权重矩阵进行矩阵乘法和尺寸变换，得到通道注意力图和位置注意力图，并将所述通道注意力图、所述位置注意力图和所述第一特征图进行逐像素相加，得到待恢复的注意力图；

所述通道恢复层，用于将所述待恢复的注意力图的通道数恢复至与所述输入特征图相同，得到注意力图；

所述纹理聚焦解码器包括依次连接的一个Head结构、M个Body结构以及一个Tail结构；

所述Head结构为1×1的卷积层；

所述Body结构包括依次连接的2倍率上采样模块、3×3卷积层和多尺度残差模块；

所述Tail结构为3×3的卷积层；

其中，M为正整数，所述纹理聚焦解码器的输出图像尺寸与所述待训练网络的输入图像尺寸相同。

2.如权利要求1所述的基于前景引导和纹理聚焦的行人重识别模型建立方法，其特征在于，所述通道缩减层将输入特征图的通道缩减至预设值，通过通道最大池化操作完成。

3.如权利要求1或2所述的基于前景引导和纹理聚焦的行人重识别模型建立方法，其特征在于，对所述待训练网络中的解码器部分进行训练时，标签图像为所述待训练网络的输入图像依次与高斯掩膜和注意力掩膜进行逐像素相乘后得到的图像；

损失函数包括L1损失和梯度损失，所述梯度损失同时包括了所述纹理聚焦解码器的输出图像与对应的标签图像在水平方向的纹理差异和在竖直方向的纹理差异；

其中，所述高斯掩膜由高斯核生成，所述注意力掩膜由所述前景注意力模块生成。

4.如权利要求3所述的基于前景引导和纹理聚焦的行人重识别模型建立方法，其特征在于，所述梯度损失为：

其中，L_gradient表示梯度损失，G_h和G_v分别表示水平方向梯度矩阵与竖直方向梯度矩阵，r指代所述标签图像，l指代所述纹理聚焦解码器的输出图像，表示所述标签图像的水平方向梯度矩阵，表示所述输出图像的水平方向梯度矩阵，表示所述标签图像的竖直方向梯度矩阵，表示所述输出图像的竖直方向梯度矩阵，|| ||₁表示计算L1范数。