[发明专利]基于分层注意感知深度度量学习的情感图像检索的方法

摘要

本发明公开了基于分层注意感知深度度量学习的情感图像检索的方法，属于计算机视觉技术领域。该方法利用不同层次的情感标签分别在卷积神经网络的高层和低层监督学习，通过注意力机制对特征进行加权。之后利用双线性池化操作将来自高层和低层加权后的特征进行交互融合，得到了同时蕴含不同层次信息的特征。通过网络低层和高层加权后的特征向量利用双线性池化进行有效地融合，然后进行降维、正则化等操作。同时，提出了EP损失函数，分别从极性内和极性间度量样本间的空间距离。通过同时优化EP损失函数、注意力损失函数和Softmax函数进行端到端地训练卷积神经网络。最后根据卷积神经网络提取的特征之间的欧式距离来检索情感图片。

主权项

1.基于分层注意感知深度度量学习的情感图像检索的方法，其特征在于，该方法包含如下步骤：a.将数据进行图像增强等预处理操作，然后输入到深度卷积网络；b.在卷积神经网络的低层，依靠情感极性标签的监督，生成由底层特征对应位置的权值组成的注意力响应图；在卷积神经网络的高层，依靠情感类别标签的监督，生成由高层语义特征对应位置的权值组成的注意力响应图；c.将分别来自网络高层和低层加权后的特征向量利用双线性池化进行有效地融合，然后进行降维、正则化等操作；d.将c中得到的特征输入度量学习的损失函数中，结合注意力损失和Softmax损失函数，对模型进行端到端地特征学习；e.利用训练好的模型对图片进行特征提取，然后按照特征在欧式空间中的距离检索样本的距离远近对图片进行排序。