[发明专利]基于预训练模型BERT的多粒度融合方面级情感分析方法

说明书

本发明涉及自然语言处理技术领域，公开了一种基于预训练模型BERT的多粒度融合方面级情感分析方法，步骤包括将文本输入到预训练模型中获取预训练词向量，并获取方面项的上下文信息s；通过LSTM长短期记忆网络来学习句子的上下文句子信息h；将双向LSTM的输出h作为句子级别注意力层的输入，计算每个句子的重要程度，得到句子级别注意力层的输出u；将u进行维度变换为与s一致，再将s与句子级的输出u进行调和得到最终的输出O；将O作为情感分类层的输入，计算情感极性的概率P，并根据损失函数进行损失，再采用反向传播算法进行优化。本发明能够防止上下文句子过多，影响当前句子方面的极性判断的问题，从而增强对当前句子方面的极性判断，提升方面情感预测的性能。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于预训练模型BERT的多粒度融合方面级情感分析方法。

背景技术

方面级情感分析作为情感分析的子任务，一直是自然语言处理领域研究的热点之一。不同于文档级、句子级粗粒度的情感分析任务只需找出整个文档或者整个句子的情感，方面级情感分析这种细粒度的任务则需找出一句话中每个方面的情感。例如句子“Thefood is good but the service is slow.”，对于句子级别情感分析，关于这句话的情感极性则会识别为中性。而方面级情感分析，对于句子中两个不同的方面实体(food和service)，则会识别出对应的积极和消极两种不同的情感极性。

早期方面级情感分析主要基于规则的方法。基于规则的方法高度依赖大量的手动标注的特征，这会导致错误在这些方法中传播，并因此阻碍方面级情感分析任务的性能。为了解决基于规则的方法带来的弊端，深度学习中卷积神经网络与循环神经网络搭配注意力机制、记忆模块等方法被用于方面级情感分析领域并取得了不错的效果。为了应对这类问题，依存句法也被引入到方面级情感分析。依存句法是一种重要的句法结构，它可以远距离的建模修饰词与被修饰词之间的关系。

除了上述方法，另一种可行的方式便是基于神经网络的多粒度融合方面级情感分析方法，但目前这种方法，当句子中存在多个方面时，其只对单个句子进行上下文信息学习，这样就导致难以预测该句子中所有方面的情感极性。

发明内容

有鉴于此，本发明的目的是提供一种基于预训练模型BERT的多粒度融合方面级情感分析方法，能够防止上下文句子过多，影响当前句子方面的极性判断的问题，从而增强对当前句子方面的极性判断，提升方面情感预测的性能。

本发明通过以下技术手段解决上述技术问题：

基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：包括以下步骤，

S1、将文本输入到预训练模型中获取预训练词向量，并获取token-level的关于方面项的上下文信息s；

S2、通过LSTM长短期记忆网络来学习句子的上下文句子信息h；

S3、将LSTM的输出h作为句子级别注意力层的输入，计算每个句子的重要程度，得到句子级别注意力层的输出u；

S4、将句子级别的输出u进行维度变换为与方面级输出s一致，再将方面级的输出s与句子级别注意力层的输出u进行调和，得到最终的输出O；

S5、将最终的输出O作为情感分类层的输入，通过softmax计算情感极性的概率P，并根据损失函数进行损失，再采用反向传播算法进行优化。

进一步，所述步骤S1中，将文本输入到预训练模型中获取预训练词向量的方法具体为：

E＝{e₁,e₂,L,e_l}

其中，E表示预训练词向量，e_i表示文档中的第i个词向量表示，l表示输入文本的长度。