[发明专利]一种基于注意力机制的CNN-RNN图像情感分析方法

说明书

本发明公开了一种基于注意力机制的CNN‑RNN图像情感分析方法，包括：S11.通过ResNet‑50卷积神经网络获取图像的特征，并通过ResNet‑50卷积神经网络的5个分支分别提取不同抽象层次的图像特征；S12.将提取的不同抽象层次的图像特征输入至双向循环神经网络GRU中，捕获不同抽象层次的依赖关系，得到不同层次的图像特征；S13.通过注意力机制层确定不同层次特征对图像情感影响的注意力权重系数，对双向循环神经网络GRU输出的不同层次的图像特征进行加权线性组合，得到最终特征；S14.将得到的最终特征通过全连接层和Softmax分类器处理，得到注意力机制的图像情感分析模型；S15.得到注意力机制的图像情感分析模型后，对图像情感分析模型进行训练并将模型应用于图像情感分析中进行分析。

技术领域

本发明涉及计算机图像情感分析技术领域，尤其涉及一种基于注意力机制的CNN-RNN图像情感分析方法。

背景技术

图像情感分析旨在预测一副图像所能够引发观看者的情感，属于情感计算领域的一个重要的研究方向。随着互联网和社交网络的发展，图像情感分析的应用场合越来越广泛。

图像情感分析首先要选择一定的情感模型来表示情感，在心理学研究中有两种典型的表现情感的模型：情感状态类别(CES)和情感维度空间(DES)。CES方法认为情感属于少数几个基本类别之一，如恐惧、满足、悲伤等，而DES方法认为情感在大脑中是连续的，所以将情感归为多维情感空间中一个点。由于CES方法直观易懂，便于人们理解和标注，该方法得到了广泛的应用。

由于从图像中提取情感内容的信息，需要填补图片与情感之间的情感鸿沟，即图像中的可度量信号(即图像特征)与人从图像中感知到的信号所带产生的情感状态之间存在的不一致性。因此，从图像中提取合适特征来表征情感信息，以及如何融合这些特征信息是图像情感分析的关键。

如模型[1]：He K,Zhang X,Ren S,et al.Deep residual learning for imagerecognition[C]//Proceedings of the IEEE conference on computer vision andpattern recognition.2016:770-778；模型[2]：Rao T,Xu M,Xu D,et al.LearningMulti-level Deep Representations for Image Emotion Classification[J].arXiv:Computer Vision and Pattern Recognition,2016等均涉及到分析图像情感的特征信息，但是对于不同的图像而言，对情感产生主要影响的特征层次是不同的，简单地融合不同层次的特征，并不能有效的突出那些对情感影响较大特征。

因此，针对上述技术问题，本发明提出了一种基于注意力机制的CNN-RNN图像情感分析方法。

发明内容

本发明的目的是针对现有技术的缺陷，提供了一种基于注意力机制的CNN-RNN图像情感分析方法。

为了实现以上目的，本发明采用以下技术方案：

一种基于注意力机制的CNN-RNN图像情感分析方法，包括5个分支的ResNet-50卷积神经网络、双向循环神经网络GRU以及注意力机制层；所述5个分支的ResNet-50卷积神经网络包括全连接层、Softmax分类器；

包括步骤：

S1.通过ResNet-50卷积神经网络获取图像的特征，并通过ResNet-50卷积神经网络的5个分支分别提取不同抽象层次的图像特征；

S2.将提取的不同抽象层次的图像特征输入至双向循环神经网络GRU中，通过双向循环神经网络GRU捕获不同抽象层次的依赖关系，得到不同层次的图像特征；