[发明专利]一种基于BERT模型以及注意力集中网络的细粒度情感分析方法

权利要求书

1.一种基于BERT模型和注意力集中网络的细粒度情感分析方法，其特征在于，包含以下步骤：

S1：获取待进行细粒度情感分析的句子及其对应的方面词，经过预处理，获得文本中的每个单词的词向量表达；

S2：将S1获取的词向量表达序列输入到BERT神经网络模型进行处理，获得每个词向量与上下文信息整合后的语义信息；

S3：对S2获得的语义信息，采用根据注意力机制所构建的注意力集中网络层进行分析处理，提取关键信息；

S4：将S3提取出的关键信息输入全连接层进行细粒度情感预测，得到本基于BERT模型和注意力集中网络的细粒度情感分析方法的分析结果。

2.根据权利要求1所述的基于BERT模型和注意力集中网络的细粒度情感分析方法，其特征在于，所述的步骤1中，获得文本中的每个单词的词向量表达的过程为：将待进行细粒度情感分析的句子及其对应的方面词拼接为“[CLS]+待分析的句子+[SEP]+方面词+[SEP]”形式的输入文本序列，其中[CLS]作为文本开始符号，[SEP]作为文本分隔及结束符号；然后采用BERT模型对长度为x的输入文本序列进行向量转化，得到文本的词向量表达s。

3.根据权利要求1所述的基于BERT模型和注意力集中网络的细粒度情感分析方法，其特征在于，所述的步骤2)中，具体方法为：将文本的词向量表达s输入到BERT模型进行处理，得到BERT模型最后一层的隐藏状态作为每个词向量与上下文信息整合后的语义信息H^x*h，其中h为BERT模型的隐藏层数量。

4.根据权利要求1所述的基于BERT模型和注意力集中网络的细粒度情感分析方法，其特征在于，所述的步骤3)中，具体方法为：将BERT模型提取到的语义信息H^x*h输入到根据注意力机制构建的注意力集中网络层进行信息提取，注意力集中网络层具体结构如下：

在注意力集中网络层的第一层，H^x*h经过无偏置项的全连接层进行线性变换，再使用Sigmoid激活函数，得到

在注意力集中网络层的第二层，经过无偏置项的全连接层进行线性变换，再使用Softmax激活函数，得到

在注意力集中网络层的第三层，将与BERT模型提取到的语义信息H^x*h经过矩阵乘法得到的矩阵输入无偏置项的全连接层进行线性变换，再使用Tanh激活函数，得到

其中，为可训练的参数；

去除中维数为1的维度，得到关键信息

5.根据权利要求1所述的一种基于BERT模型和注意力集中网络的细粒度情感分析方法，其特征在于，所述的步骤4中，具体方法为：将S3步骤得到的关键信息输入一个全连接层，获得维度为p的输出向量，其中p代表情感分析任务中包含的不同的情感极性数量，如：任务包含了积极、中性、消极三种情感极性，则p的取值为3；具体表达式如下：

其中，为可训练的参数，为偏置项；y为模型预测的情感极性结果。

6.根据权利要求1所述的基于BERT模型和注意力集中网络的细粒度情感分析方法，其特征在于，对本基于BERT模型和注意力集中网络的细粒度情感分析方法模型训练优化的策略为，采用Adam优化器对本模型进行训练，优化过程中使用交叉熵作为损失函数，并引入L2正则化防止模型出现过拟合。