[发明专利]一种基于先验原型注意力机制的人体图像多属性分类方法

权利要求书

1.基于先验原型注意力机制的人体图像多属性分类方法，其特征在于，包括如下步骤：

步骤S1：构建属性表和对应的人体图像数据集；

若图像中某个属性的位置被遮挡或没有被拍摄到，则将该属性的标签值设置为-1，即作为负样本；

若图像中存在某个属性，则将该属性的标签值设置为1，反之设置为0；

且人体图像数据集中的图像包含一个或多个属性的相关区域；

步骤S2：构建多属性分类的神经网络模型：

选择基于神经网络的多分类网络模型，所述基于神经网络的多分类网络模型包括输入层、隐藏层和分类层；多层的隐藏层用于提取输入图像的特征图；分类层基于最后一层隐藏层输入的特征图，预测输入图像属于指定类别的预测概率；

去掉分类层的多分类网络模型作为多属性分类的神经网络模型的初级特征提取网络，并将初级特征提取网络输出的特征图定义为特征图F，且特征图F的形状为H×W×C，其中H×W表示特征图的大小，即高和宽；C表示特征图的通道数；

设置用于k个任务适用的先验注意力原型图A_i，且先验注意力原型图A_i的大小为H×W，其中i＝1，2，...，k，k的取值为预设值；

将特征提取网络输出的作为输入，添加L个分支，每个分支包括依次连接的三个子块；

其中，L表示进行分类的属性总数目；

每个分支的三个子块分别为：

第一子块包括依次连接的第一全局平均池化层、第一全连接层和第二全连接层；且第一子块的输入为特征图F，输出为原型系数C_j，所述原型系数C_j为长度为k的一维向量，其中j＝1，2，...，L；

第二子块：将k个先验注意力图A_i与当前支路的原型系数C_j进行加权求和，得到对应属性的注意力图并将注意力图与特征图F进行逐点乘法运算得到当前支路的新特征图

第三个子块包括依次连接的第二全局平均池化层、第三全连接层和第四全连接层；输入为新特征图输出为当前支路对应的属性的预测概率；其中j＝1，2，...，L；

步骤S3：训练多属性分类的神经网络模型：

将训练图像做水平翻转并将其加入到训练图像中，按照步骤S1构建属性表；

将基于神经网络的多分类网络模型的已有训练过的网络参数作为初级特征提取网络的网络参数的初始值；

基于预设的损失函数和训练参数，对多属性分类的神经网络模型的网络参数进行迭代训练；

步骤S4：利用训练好的多属性分类的神经网络模型对图像进行属性分类处理：

基于训练好的多属性分类的神经网络模型的前向计算的输出，得到该图像中各个属性的预测概率，并基于各预测概率与预设阈值的匹配结果，确定图像中各个属性分类结果。

2.如权利要求1所述的人体图像多属性分类方法，其特征在于，步骤S2中，设置用于k个任务适用的先验注意力原型图A_i具体为：

将k个先验注意力图A_i设置为中心点不同的高斯热图；

且每个先验注意力原型图A_i的每个像素点(x，y)的像素值A_(x，y)为：

其中，(col_i，row_i)表示第i个高斯热图的中心点坐标，σ表示高斯热图的方差。

3.如权利要求2所述的人体图像多属性分类方法，其特征在于，k个中心点均匀地分布在W×C的网格上。

4.如权利要求3所述的人体图像多属性分类方法，其特征在于，将方差σ设置为1。

5.如权利要求1所述的人体图像多属性分类方法，其特征在于，步骤S3中还包括：计算所有训练图像的均值并记为I_mean，基于I_mean对输入初级特征提取网络的输入图像进行归一化处理；且步骤S4还包括：基于I_mean对输入初级特征提取网络的输入图像进行归一化处理。