[发明专利]基于分层注意感知深度度量学习的情感图像检索的方法

说明书

本发明公开了基于分层注意感知深度度量学习的情感图像检索的方法，属于计算机视觉技术领域。该方法利用不同层次的情感标签分别在卷积神经网络的高层和低层监督学习，通过注意力机制对特征进行加权。之后利用双线性池化操作将来自高层和低层加权后的特征进行交互融合，得到了同时蕴含不同层次信息的特征。通过网络低层和高层加权后的特征向量利用双线性池化进行有效地融合，然后进行降维、正则化等操作。同时，提出了EP损失函数，分别从极性内和极性间度量样本间的空间距离。通过同时优化EP损失函数、注意力损失函数和Softmax函数进行端到端地训练卷积神经网络。最后根据卷积神经网络提取的特征之间的欧式距离来检索情感图片。

技术领域

本发明属于计算机视觉技术领域，涉及一种基于分层注意力机制度量情感图片在欧式空间中的距离，进而有效地检索情感图片的深度卷积神经网络方法。

背景技术

关注情感图片检索任务的工作在十年前就已经出现，但是数量并不多，因此推动这个方向发展是很有意义的事情。Wang等人在文献1中发明了基于情感的图片检索系统，该系统通过情感语义单词来检索相关情感的图片。2010年，Olkiewicz等人在文献2中提取图片的情感特征描述子，然后输入神经网络中进行训练，根据情感特征间的相似性进行排序，选出离搜索图片最近的样本。Zhao等人在文献3中利用了多图学习的方法进行检索和输入样本情感相近的图片，进而探索了有利于表达情感的视觉特征组合。2018年，在文献4中，Yang等人提出了一个可以端到端训练的深度学习框架，能够同时进行情感图片分类和检索任务，两个任务互相促进，达到了目前最好的检索效果。

由于注意力机制能够自动找到图片中起决定作用的区域，因此被广泛地应用在了多种视觉任务中，包括分割、为图配文、或行人重识别等。Wang等人在文献5中通过引入一个基于注意力机制的方法训练了深度残差网络用于图片分类。在文献6中，Chen等人结合了空间级和通道级的注意力机制进行了为图搭配字幕的任务。根据文献7中描述的心理学理论可知，情感内容比非情感内容更容易引起人们的注意。

最近，有很多工作利用深度度量学习度量图片之间的相似性。基于比较流行的pairwise损失函数，Song等人在文献8中利用由小批量的成对距离组成的矩阵，创建一个包含所有样本的损失函数，形成一个嵌入式结构。2018年，Duan等人在文献9中为了获得更加鲁棒的模型，利用深度对抗学习由简单的负例生成困难的负例来训练模型，提升了模型的判别能力。

上述领域的一些最新成果激发了我们的灵感，也为我们使用深度卷积神经网络实现图片情感分类和分布共同学习的方法提供了坚实的理论技术基础。

文献：

1、Image retrieval by emotional semantics:A study of emotional spaceand feature extraction.In SMC,2006.

2、Emotion-based image retrievalan artificial neural networkapproach.In IMCSIT,2010.

3、Affective image retrieval via multi-graph learning.In ACM MM,20144、Retrieving and classifying affective images via deep metric learning.InAAAI,2018.

5、Residual attention network for image classification.In CVPR,2017.

6、Sca-cnn:Spatial and channel-wise attention in convolutionalnetworks for image captioning.In CVPR,2016.