[发明专利]一种基于单尺度特征表达的遮挡行人重识别方法

权利要求书

1.一种基于单尺度特征表达的遮挡行人重识别方法，其特征在于：包括下列步骤：

步骤A：首先对训练行人图片进行预处理，进行数据增强，将图片像素大小调整为256×128，并对图片随机采取随机裁剪、水平翻转和随机擦除，概率均为50％，并输入数据增强后的行人图像到特征提取网络中，获得中间特征图；

步骤B：将空间记忆模块嵌入到特征提取网络中，中间特征图经过空间记忆模块，获得更具区分性的行人特征图；

步骤C：对行人特征图进行全局自适应池化GAP操作得到单尺度行人特征向量，并利用批量归一化模块对单尺度行人特征向量进行归一化，对批量归一化之前的行人特征向量计算改进的三元组损失，对归一化之后的行人特征向量计算分类损失，根据两个损失函数计算网络参数的梯度，而后更新特征提取网络的参数和空间记忆模块的参数，完成训练；

步骤D：输入测试的查询行人图片和测试的图库中的行人图片到训练完成的网络中，得到所有测试行人图片的特征，计算查询行人特征和图库中行人特征的欧氏距离，按照距离的大小进行递增排序，得到查询行人的近邻列表，完成行人重识别。

2.根据权利要求1所述的一种基于单尺度特征表达的遮挡行人重识别方法，其特征在于，所述步骤A具体包括以下步骤：

步骤A1：对公开遮挡行人重识别数据集Occluded-DukeMTMC的训练数据进行数据增强，具体有(1)对图像像素进行放缩，放缩后的长宽为256和128，并将放缩后的图像使用概率为0.5的随机翻转和随机裁剪；(2)对图像进行均值为[0.5,0.5,0.5]，标准差为[0.5,0.5,0.5]的归一化，以降低仿射变换带来的影响，从而提高收敛速度和模型的精度；(3)使用概率为0.5的随机擦除，通过在图像上生成一个矩形框形成的图像的遮挡，缓解了网络对图像信息的过拟合现象；

步骤A2：输入训练集行人图片到特征提取网络，得到大小为H*W*d的中间特征图，其中H，W，d分别代表其高度、宽度和通道数，所述特征提取网络为ConvNeXt，由若干个7*7大小卷积核的深度可分离卷积和1*1卷积核的卷积，GeLU激活函数，LayerNorm正则化组成。

3.根据权利要求1所述的一种基于单尺度特征表达的遮挡行人重识别方法，其特征在于，所述步骤B具体包括以下步骤：

步骤B1：空间记忆模块首先将输入大小为H*W*d的中间特征图重塑reshape为HW*d的二维特征信息F_in，F_in＝[f₁；f₂；…；f_HW]，其中f_i∈R^1*d，F_in作为多头注意力机制的探针query，代表着二维的特征信息，f_i代表第i个位置像素的特征；

步骤B2：根据高斯分布生成两组可学习的参数，分别作为多头注意力机制的键key和值value，其中key∈R^M*d和value∈R^M*d，M为人工设定的超参数；

步骤B3：利用点积运算对query和key进行计算公式如下：

其中，k_n是第n个key的值，T代表矩阵的转置运算，是一个缩放系数，p_i,n在这里作为背景特征和遮挡物体的匹配概率；

步骤B4：记忆网络通过使用相应的概率p_i,n输出v_n的加权平均值，公式如下：

其中v_n是第n个value的值；

步骤B5：得到的o_i作为干扰特征应当被剔除，因此首先将o_i重塑reshape到与输入特征图F_in相同大小，为F_atten，然后得到行人特征图F_out，公式如下：

F_out＝F_in-α*F_atten

其中α是一个可学习的标量，用于动态调节干扰特征的权重，由于输出的行人特征图F_out与输入的中间特征图F_in形状相同，因此只嵌入在了特征提取网络的最后一层。