[发明专利]一种基于多注意力联合学习的图像行人重识别方法和系统

权利要求书

1.一种基于多注意力联合学习的图像行人重识别方法，其特征在于，该方法包括以下步骤：

步骤1.预训练ResNet50网络，使ResNet50网络参数具有初始值；

步骤2.基于预训练的ResNet50网络构建多注意力联合学习网络；

步骤3.基于行人数据集训练所述多注意力联合学习网络；

步骤4.利用训练好的多注意力联合学习网络，提取查询图像的特征和图库图像的特征，计算图库中图像与查询图像的距离，距离最近的即为与查询图像所指相同的目标；

所述多注意力联合学习网络还包括：加在ResNet50网络的Layer1和Layer2之间的第一Soft注意力模块，所述第一Soft注意力模块用于对输入的Layer1特征图进行注意力权重计算，得到Layer1输出特征的显著性权重图；加在ResNet50网络的Layer2和Layer3之间的第二Soft注意力模块，所述第二Soft注意力模块用于对输入的Layer2特征图进行注意力权重计算，得到Layer2输出特征的显著性权重图；加在ResNet50网络的Layer3和Layer4之间的第三Soft注意力模块，所述第三Soft注意力模块用于对输入的Layer3特征图进行注意力权重计算，得到Layer3输出特征的显著性权重图；加在ResNet50网络的Layer2和Layer3之间的高阶注意力模块，所述高阶注意力模块用于对输入的Layer2特征图进行注意力权重计算，得到Layer2输出特征的高阶注意力特征图；中级特征融合模块，用于将ResNet50网络的Layer4三层网络中的第一层网络提取的特征与第二层网络提取的特征经过连接层融合之后，融合特征与第三层网络提取的特征经过全连接层融合，得到分支网络1的融合特征图；多粒度特征提取模块，用于将ResNet50网络的Layer4第三层网络提取的特征分别经过第一全局池化、第二全局池化、第一局部池化和第二局部池化，得到第一全局特征、第一局部特征、第二全局特征和第二局部特征，第一局部特征被水平分割为两份，第二局部特征被水平分割为三份；

所述高阶注意力模块包括：一阶提取模块、二阶提取模块和三阶提取模块；其中，

一阶提取模块由依次连接的两个1*1卷积块组成；

二阶提取模块经过并联的两个1*1卷积块后，对输出的特征相乘，再进过一个1*1卷积块组成；

三阶提取模块经过并联的三个1*1卷积块后，对输出的特征相乘，再进过一个1*1卷积块组成；

将三个模块的输出特征相加，经过一个Sigmoid激活函数之后与输入特征相乘，得到最终的高阶注意力特征。

2.如权利要求1所述的方法，其特征在于，步骤1中，采用amsgrad算法更新网络参数，amsgrad算法公式为：

m_t＝β₁m_t-1+(1-β₁)g_t

其中，m_t表示当前平均梯度，初始值设为0，v_t表示当前梯度平方和，初始值设为0，表示当前最大梯度平方和，β₁、β₂为可设置参数，g_t表示当前梯度，η表示学习率，ε表示一个无限小的数，防止分母为0，θ_t表示要更新的参数。

3.如权利要求1或2所述的方法，其特征在于，所述Soft注意力模块包括：空间注意力模块和通道注意力模块；其中，

空间注意力模块由全局跨通道平均池化层、步幅为2的3*3卷积层、上采样层和缩放卷积层组成，对输入特征图进行空间注意力计算，得到空间注意力特征图；

通道注意力模块由一个跨通道全局平均池化层和两个卷积层组成，对输入特征图进行通道注意力计算，得到通道注意力特征图；

两个特征图相乘之后经过一个CNN模块，经过Sigmoid激活函数之后得到最终的显著性权重图。