[发明专利]一种基于先验原型注意力机制的人体图像多属性分类方法

说明书

本发明公开了一种基于先验原型注意力机制的人体图像多属性分类方法，属于图像处理技术领域。本发明的方案为：首先构建属性表和对应的人体图像数据集；然后构建多属性分类的神经网络模型：在惯用的多分类神经网络模型的尾部加入先验原型注意力机制插件，并将多分类神经网络的尾部改为多属性分类网络。接着训练所构建的神经网络模型；最后，基于训练好的神经网络模型对人体图像进行多属性的分类识别。本发明一方面保留了传统注意力机制的做法，用生成的注意力图与最后一个卷积特征进行逐点乘法运算，从而保留了传统注意力机制的强过滤性。另一方面通过先验原型注意力图线性组合的方式，增强了注意力图的集中性。因而极大地提升了模型的泛化能力。

技术领域

本发明属于人体图像属性分类技术领域，具体涉及一种基于先验原型注意力机制的人体图像多属性分类方法。

背景技术

多分类任务在用于视觉对象识别的可视化数据库imagenet数据集上的表现越来越好，在这个数据集上，网络模型的分类能力已经超过了人的分类能力。相比来讲，现有的人体图像多属性分类任务的性能就不是很理想，该任务不同于普通的多分类任务，它的难点在于输入是人的整张图片，而要分析的却是一些只需要局部区域的属性，而现有的数据集上都没有关于属性的局部区域信息，这就会使网络会有很大程度的过拟合问题，而注意力机制的出现就是为了解决这类问题。

传统的注意力机制一般都是在最后一层卷积特征上进行的。首先通过一系列的1×1的Conv+ReLu生成一个适合注意力图的多通道特征，然后再用1×1的Conv+ReLu生成一个通道为1的注意力图。最后再通过将这个注意力图和网络的最后一层卷积特征做逐点乘法运算，得到最后的特征，从而达到挑选出属性相关特征去除属性不相关特征的目的。例如在视线追踪任务上通过上述注意力机制取得了比较好的效果。在传统的注意力机制中，注意力图会比较分散，比较散乱的注意力图会降低模型去除过拟合的能力，从而使得模型的表现效果不理想。

或者通过在类别激活图(class activation map，CAM)的基础上增加一个损失函数，该损失函数的作用是帮助网络得到一个更加集中的激活图，这种做法使得网络只关心该关心的一小部分，忽略掉其他不重要的部分。在某种意义上，这是注意力机制的另一种实现方法。这种方式可以得到一个比较集中的CAM，集中的CAM可以帮助模型将注意力放到属性相关的区域，进而帮助提升模型的泛化能力。相比于传统的注意力机制，这种方式没有将生成的注意力图直接作用于最后一个卷积特征，从而导致其去除不相关特征的能力会比较弱。

即传统的注意力机制，虽然可以直接用注意力图滤除掉不相关特征，但是通过这种方式产生的注意力图往往不集中。而基于CAM的注意力机制虽然可以得到比较集中的CAM，但是这种方式没有注意力图来帮助网络模型滤除掉不相关的特征。

发明内容

本发明的发明目的在于：为了解决传统的注意力机制和基于CAM的注意力机制中存在的技术问题，本发明提出了一种基于先验原型注意力机制的人体图像多属性分类方法。

本发明的基于先验原型注意力机制的人体图像多属性分类方法，包括如下步骤：

步骤S1：构建属性表和对应的人体图像数据集；

若图像中某个属性的位置被遮挡或没有被拍摄到，则将该属性的标签值设置为-1，即作为负样本；

若图像中存在某个属性，则将该属性的标签值设置为1，反之设置为0；

且人体图像数据集中的图像应该包含一个或多个属性的相关区域；

步骤S2：构建多属性分类的神经网络模型：

选择基于神经网络的多分类网络模型，所述基于神经网络的多分类网络模型包括输入层、隐藏层和分类层；多层的隐藏层用于提取输入图像的特征图；分类层(输出层)基于最后一层隐藏层输入的特征图，预测输入图像输入指定类别的预测概率；