[发明专利]一种基于注意力机制的跨域行人重识别方法

权利要求书

1.一种基于注意力机制的跨域行人重识别方法，其技术方案为：在基于ResNet50构造的神经网络模型中对输入图像进行特征提取和抑制背景干扰，具体包括如下步骤：

步骤1：对输入图像进行卷积和池化处理，提取输入图像的特征数据；

步骤2：将特征数据输入到第一残差块中进行处理得到第一输出特征x₁，使用残差连接的Instance Normalization层对第一输出特征x₁进行归一化处理并得到归一化的特征f₁，使用空间注意力模块提取出第一个注意力权重w₁，再根据第一个注意力权重w₁与使用残差连接得到的特征A得出第二输入特征i₁；

步骤3：将第二输入特征i₁输入到第二残差块中进行处理得到第二输出特征x₂，使用残差连接的Instance Normalization层对第二输出特征x₂进行归一化处理并得到归一化的特征f₂，使用空间注意力模块提取出第二个注意力权重w₂，使用注意力权重融合模块将第二个注意力权重w₂与第一个注意力权重w₁进行融合得到第一融合权重w₁₂，再根据第一融合权重w₁₂与使用残差连接得到的特征B得出第三输入特征i₂；

步骤4：将第三输入特征i₂输入到第三残差块中进行处理得到第三输出特征x₃，使用残差连接的Instance Normalization层对第三输出特征x₃进行归一化处理，使用空间注意力模块提取出第三个注意力权重w₃，使用注意力权重融合模块将第三个注意力权重w₃与第一融合权重w₁₂进行融合得到第二融合权重w₂₃，再根据第二融合权重w₂₃与使用残差连接得到的特征C得出第四输入特征i₃；

步骤5：将第四输入特征i₃输入到第四残差块中进行处理，得到第四输出特征，再将第四输出特征输入到Head层中处理，处理后即得到抑制了背景干扰的行人特征；

设定空间注意力模块的输入特征为f∈R^c*h*w，提取出对应的注意力权重为w∈R^1*h*w，c、h、w分别为输入特征f的通道数、高度和宽度，则使用空间注意力模块提取出注意力权重的方法如下：

S1：沿通道维度分别计算输入特征f的最大值和平均值，生成两个2D特征图；

S2：将生成的两个2D特征图分别沿h维度和w维度计算对应的最大值和平均值，共得到8个特征向量；

S3：将8个特征向量两两组合进行矩阵乘法并进行softmax操作得到4个空间注意力掩码，softmax使得每个掩码内部数值和为1，增加了行人区域和背景区域的注意力权重差异，然后在通道维度上将4个空间注意力掩码进行拼接；

S5：通过3x3卷积和sigmoid将拼接得到的注意力掩码进行融合，融合后得到最终的空间注意力权重为w∈R^1*h*w；

步骤3中，使用注意力权重融合模块进行融合的方法为：

先将第二个注意力权重w₂进行上采样并与第一个注意力权重w₁按通道维度进行拼接，同时保留高层的语义信息和低层的位置信息，再利用卷积操作对拼接后的特征进行融合和下采样，最后将下采样后的特征与第二个注意力权重w₂进行逐元素相加，即得到融合后的第一融合权重w₁₂，计算公式如下：

w₁₂＝(ds(cat(us(w₂)，w₁))+w₂)/2

其中，us(·)代表双线性插值上采样，ds(·)代表通过卷积核大小为3×3，步长为2的卷积操作进行下采样，cat(·)代表按通道维度进行拼接操作。