[发明专利]一种基于多尺度邻接交互特征的行人重识别方法

权利要求书

1.一种基于多尺度邻接交互特征的行人重识别方法，其特征在于，其步骤为：

(1)获取采集的视频文件，将其中包含人的目标图像裁剪出来，将不同摄像头的同一目标配对；将ResNet50作为主干网络，同一目标的多张图片输入主干网络来获取初始多尺度特征；

(2)将主干网络生成的第三层、第四层和第五层目标特征提取作为多尺度特征的基础，从第三层开始依次使用SOA，利用上下文信息来提高感受野的同时达到同一尺度内特征聚合的效果；

(3)将第三层、第四层和第五层的目标特征分别输入到Bottleneck提取局部信息同时增强特征表示能力，利用最大池化方式对齐空间大小；

(4)将得到空间对齐后的特征沿着空间通道进行连接到的聚合后的特征图输入到Transformer网络，得到全局特征；

(5)将步骤(2)中得到的基于CNN的局部特征和步骤(4)得到基于Transformer的全局特征按照特征维度联合起来；

(6)将上述步骤(1)-(5)得到的联合特征进行切片，然后经过同尺度特征交互和跨尺度特征交互这两种特征交互操作，得到目标的多尺度邻接特征表示；

(7)最后通过损失函数训练得到基于多尺度邻接交互特征的行人重识别模型；

所述的步骤(1)的具体方法为：涉及网络的主干由ResNet50构建，其中ResNet50最后一层的stride设置为1；在输入ResNet50之前，将重新定义所有图像尺寸为256×128，同时进行数据增强操作；设定batchsize为64，其中共16个不同的人，每个人4张不同的照片；

所述的步骤(2)对于Resnet50的第l层，提取到特征图其中C₁、H₁、W₁分别表示通道数、特征图高度、特征图宽度；对于ResNet50中的第l层，利用SOA模块对第l层特征对齐：X_l＝SOA(X_l)。

2.根据权利要求1所述的一种基于多尺度邻接交互特征的行人重识别方法，其特征在于，所述的步骤(3)利用Bottleneck提取局部信息，利用最大池化的方式对齐空间大小：

X_j＝MaxPooling(Bottleneck(X_j))

其中，Bottleneck是ResNet中的模块；

然后，利用堆叠的方式融合不同尺度的特征：

F＝Concat(X₁,X₂,…X_n)

其中，

3.根据权利要求1所述的一种基于多尺度邻接交互特征的行人重识别方法，其特征在于，所述的步骤(4)中通过步骤(3)中得到空间对齐特征F后，输入到Transformer中进行全局特征的提取；根据Vision Transformer中的设计方式，聚合不同尺度的特征信息；给定一个特征图F，将其切成(R，R)大小的图像块，得到N＝(h×w)/R2个图像块；将每个块通过线性投影到D维向量上，同时将可学习参数class token嵌入以提取全局特征信息；得到向量序列其中L＝N+1，也将可学习位置参数加入向量序列Z中；标准的Transformer层包含堆叠的多头自注意力模块(MSA)和多层感知机模块(MLP)；一共设计d个Transformer层，对于第l层的输入：

F^(l)＝Transformer(F^l-1)

其中Transformer模块中，F⁰由公式F＝Concat((₁,X₂,…X_n)得到，根据公式F^(l)＝Transformer(F^l-1)，由class token得到全局特征信息同时获得全局特征图然后，利用堆叠的方式合并CNN提取的特征X₅和Transformer得到的特征X_gl，得到其中c_f＝C₅+c′。