[发明专利]基于预训练模型BERT的多粒度融合方面级情感分析方法

权利要求书

1.基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：包括以下步骤，

S1、将文本输入到预训练模型中获取预训练词向量，并获取token-level的关于方面项的上下文信息s；

S2、通过LSTM长短期记忆网络来学习句子的上下文句子信息h；

S3、将LSTM的输出h作为句子级别注意力层的输入，计算每个句子的重要程度，得到句子级别注意力层的输出u；

S4、将句子级别注意力层的输出u进行维度变换为与方面级输出s一致，再将方面级的输出s与句子级别注意力层的输出u进行调和，得到最终的输出O；

S5、将最终的输出O作为情感分类层的输入，通过softmax计算情感极性的概率P，并根据损失函数进行损失，再采用反向传播算法进行优化。

2.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述步骤S1中，将文本输入到预训练模型中获取预训练词向量的方法具体为：

E＝{e₁,e₂,L,e_l}

其中，E表示预训练词向量，e_i表示文档中的第i个词向量表示，l表示输入文本的长度。

3.根据权利要求2所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述步骤S1中，采用平均池化的方法获取所述token-level的关于方面项的上下文信息s。

4.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述S2步骤中，通过LSTM长短期记忆网络来学习句子的上下文句子信息h的具体方法为：

5.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述S3步骤中，将双向LSTM的输出作为句子级别注意力层的输入，计算每个句子重要程度的方法为：

s_h＝tanh(w_hh_s+b_h)

其中，w_h表示权重，b_h表示偏置，s_h表示注意力得分，a_h表示经过softmax函数之后得到的权重概率，u表示句子级别注意力层的输出。

6.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述步骤S4中，将句子级别的输出进行维度变换为与方面级输出s一致，再将方面级的输出与句子级的输出进行调和，得到最终的输出O的具体方法为：

z＝f(w_uu+b_u)

g_z＝σ(w_zz+b_z)

o＝g_ze z+(1-g_z)e s

其中，所述f表示全连接层，z表示全脸层的维度变换后的输出，w_u表示全连接层的权重，b_u表示全连接层的偏置，σ表示sigmoid激活函数，w_z表示sigmoid的权重，b_z表示sigmoid的偏置，g_z的输出在(0,1)区间。

7.根据权利要求6所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述步骤S5中，将最终的输出O作为情感分类层的输入，通过softmax计算情感极性的概率P，具体为:

P＝Soft max(w_po+b_p)

其中，w_p表示情感分类层的权重，b_p表示情感分类层的偏置，P表示预测的情感概率。