[发明专利]一种基于GCN-Attention的情感分析方法

说明书

本发明公开了一种基于GCN‑Attention的情感分析方法，该方法包括：步骤1，构建模型，包含embedding层、双向LSTM层、GCN‑Attention层和输出层；步骤2，训练GCN‑Attention模型，设定超参数，将训练集输入到GCN‑Attention模型，得到损失函数值，再反向传播得到梯度，通过梯度值更新参数，经过设置的迭代次数的迭代之后，得到训练好的模型；步骤3，预测，模型完成训练后，将要预测的测试集输入模型，即可得到准确率和损失函数值。本发明能从句法上联系句子中的单词关联性，使注意力机制对于上下文的理解更为充分，实验结果表示，本发明模型相比标准注意力模型结果准确度更高。

技术领域

本发明属于自然语言处理领域，涉及一种基于GCN-Attention的情感分析方法。

背景技术

特定目标情感分类属于细粒度的情感分析任务，旨在识别句子中的目标实体情感极性。针对SemEval2014的目标实体情感极性识别任务，该任务确定句子中每个目标实体的情感极性,研究方法一般分为浅层机器学习方法和深度学习方法。

机器学习方法利用语义分析、情感词典等外部资源获得特征,再结合机器学习算法进行情感预测。比如,Kiritchenko等利用词袋模型BOW、情感词典,以及语义解析等外部资源构建特征,通过训练支持向量机(SVM)来进行情感分类。这类方法表现较好,但结果依赖于特征设计与抽取,需要消耗大量人力物力。

为克服上述缺点,很多深度学习方法的模型被提出,多种神经网络被用于这些模型并取得一定的成果,比如循环神经网络(recurrent neural networks)和树形LSTM(tree-structured LSTM)等。这些基于神经网络的方法仅利用了上下文信息,未考虑极性判断的关键目标实体。

Jiang等首次阐述了情感分类中目标实体的重要性,并证明了情感分类错误的40％是未考虑目标实体所导致的。为了加入目标实体的信息,Tang等提出TD-LSTM,使用两个LSTM分别对目标实体的上下文文本进行建模。Wang等提出基于attention的LSTM,通过LSTM编码句子,利用attention捕获编码后的句子表示中的重要信息。

由于简单注意力机制会使注意力过于分散,一些复杂attention机制被提出.Tang等设计了一个深度记忆网络,它由多个收集目标信息的attention计算层组成,通过线性方式组合这些信息,改善了attention的准确性。Ma等使用两个attention网络交互地捕获目标实体与上下文重要的情感信息并形成各自的交互表示,通过两个交互表示进行情感预测。Chen等提出利用循环attention结构捕获情感信息,并通过GRU对attention结果进行非线性组合,使模型更好地获取复杂文本的情感信息.Huang借助机器阅读理解中的attention over attention(AOA)机制使模型更好地抽取复杂文本的语义信息。Zheng等提出使用rotatory attention mechanism(LCR-Rot)轮流地从目标实体与上下文中抽取交互信息,以此进行情感分类,有效地减少了池化函数损失的信息。

发明内容

本方法为了克服现有方法中的注意力层容易误注意到句子中干扰项的不足，提出了一种基于GCN-Attention的情感分析方法，该方法能更为准确的提取句子中有关目标实体的信息，并进一步挖掘目标实体在句子中隐藏关系，同时在SemEval2014的两个数据集上有着更高的预测准确率。

本发明的技术方案如下：

本方法中的模型总体框架图如图1所示。

一种基于GCN-Attention的情感分析方法，包含以下步骤：

步骤1:建立GCN-Attention模型

构建GCN-Attention模型，需要包含embedding层、双向LSTM层、GCN-Attention层和输出层。