[发明专利]一种基于双记忆注意力的方面级别情感分类模型及方法

说明书

本发明公开了一种基于双记忆注意力的方面级别情感分类模型及方法，属于文本情感分类技术领域。本发明所述模型主要包括三个模块：一个由标准的GRU循环神经网络构成的编码器、一个引入前馈神经网络注意力层的GRU循环神经网络解码器和一个Softmax分类器。模型将输入语句看作一个序列，基于句子中方面级别词语位置的注意力，从原始文本序列和编码器的隐藏层状态中分别构建两个记忆模块，通过前馈神经网络注意力层对随机初始化的注意力分布进行微调以捕获语句中的重要情感特征，并基于GRU循环神经网络对序列的学习能力建立编码器‑解码器分类模型，以实现方面级别情感分类能力。本发明可以显著改善文本情感分类的鲁棒性，提高分类正确率。

技术领域

本发明属于文本情感分类技术领域，具体属于自然语言处理技术领域，具体涉及一种基于双记忆注意力机制和编码器-解码器结构的方面级别情感分类模型及方法。

背景技术

情感分析，又称为意见挖掘，是分析人们对于产品、服务、组织、个人、事件、主题及其属性等实体对象所怀有的意见、情感、评价、看法和态度等主观感受的研究领域。方面级别情感分析是针对给定语句所描述对象的特定方面(如顾客对餐馆的评价中可能涉及服务，环境，菜品等多个方面)，分析该语句所表达出的情感倾向(积极、消极或中性)，它是情感分析的一个细分任务，也是该领域关注的基本问题之一。

传统的特征表示方法包括One-hot、N-Gram以及领域专家通过文本或者额外的情感词典设计的一些有效特征。然而，特征工程是一个劳动密集型的任务，且需要较多的领域知识。因此，特征的自动学习渐渐成为人们研究的重点。基于神经网络的深度学习方法就是自动学习特征的一种方法。并且随着深度学习在计算机视觉，语音识别和自然语言处理等领域的成功应用，越来越多的基于深度学习的文本情感分类模型产生，这些模型普遍地利用词嵌入(Word Embedding，WE)的方法进行特征表示，这种低维度词向量表示方法不仅能很好地解决传统语言模型中词表示中存在的维度过大的问题，而且能很好的保留词的语义信息，使得语义相似的词距离更近。另外，在词嵌入的基础上，通过卷积神经网络(Convolutional Neural Network，CNN)、递归神经网络(Recursive Neural Network，RNN)和循环神经网络(Recurrent Neural Network，RNN)等神经网络模型，能很好地表示句子或者文本级别的语义信息。

现有的解决方案中，基于注意力机制的循环神经网络模型和基于注意力机制的多层模型性能表现较好，前者性能较好的原因是借助深度学习模型的特征抽象机制，可以获得更加准确的注意力分布，而后者是利用上一层捕获的注意力来帮助下一层计算得到更精确的注意力分布，然而，这两种学习模型忽视了蕴含在句子中不明显但同样对情感分类很重要的词级别或短语级别情感特征。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于双记忆注意力的方面级别情感分类模型及方法。

本发明所提出的技术问题是这样解决的：

一种基于双记忆注意力的方面级别情感分类模型，包括编码器、解码器和softmax分类器；

编码器：利用标准GRU循环神经网络依次对输入语句中的方面级别信息和输入语句进行编码，并从原始输入语句及其在编码器中的隐藏层状态中分别构成两个记忆，根据方面级别词语的位置对其进行加权，分别称为原始记忆(original memory，om)和编码记忆(encoded memory，em)；

解码器：由前馈神经网络注意力层和多层GRU循环神经网络组成，前者从方面级别记忆的语义关联中捕捉重要的情感信息，后者则将这些信息在不同计算层中选择性组合，构成对编码记忆em和原始记忆om的两个解码阶段；

Softmax分类器：将解码器学习到的特征用于情感分类。

一种基于双记忆注意力的方面级别情感分类方法，包括以下步骤：