[发明专利]基于BERT和多层注意力机制的方面级情感分类方法

权利要求书

1.基于BERT和多层注意力机制的方面级情感分类方法，其特征在于，包括以下步骤：

S1、对训练语料进行预处理；包括以下子步骤：

S11、从训练语料数据中提取每一条评论中的Aspect词，得到Aspect词集合DataAspect；

S12、从训练语料数据中提取每一个Aspect词对应的一条评论，得到集合DataContext；

S13、统计Aspect词与对应语料的情感极性，1代表积极，0代表中性，-1代表消极，得到标签集合LableSet；

S14、对DataContext进行位置符号处理，在每一条语料的Aspect词左边加入位置符号a，右边加入位置符号/a，然后作为训练数据并保存；

S2、建立基于多层attention的方面级别情感分类模型；所述多层attention的方面级别情感分类模型包括依次连接的词向量层、语义编码层、多层注意力层和输出层；

词向量层：使用预训练的词向量Gensim,将语料转化为神经网络能够处理的词向量；

语义编码层：本层使用Google预训练好的BERT-Base,Cased模型，得到语义编码向量，再将向量按从左到右的顺序拼接成一个语义编码矩阵；

多层注意力层：使用两层注意力机制：

第一层注意力机制用于捕捉DataAspect中单词与DataContext中每个单词的相关性，以及DataContext中单词与DataAspect中每个单词的相关性；

具体实现方法为：通过语义编码层输出的语义编码向量H^c和语义编码矩阵H^t，计算交互矩阵U：U＝H^cH^tT，其中H^tT表示对H^t的转置；U矩阵中的一个元素U_ij表示DataContext中第i个单词和DataAspect中的第j个单词的相关度；

给U矩阵乘以一个矩阵W^ac∈R^m×m，W^ac是一个随机初始化的权重矩阵，参数待训练矩阵，R^m×m表示W^ac矩阵的维度大小，表示W^ac矩阵有m行m列；然后再用激活函数relu进行处理，具体操作方法为：由于采用固定长度的DataContext和DataAspect词序列，当序列不够时用0进行补位，为了消除补0操作对计算注意力权重带来的影响，进行mask操作，将矩阵中补0位置的值全部赋值为负无穷大，消除softmax函数操作带来的误差；mask操作计算方式如下：

A^ac＝mask(relu(UW^ac))；

为了关注DataAspect词中对DataContext中第i个单词的重要程度，按A^ac矩阵的第二维来做softmax操作，计算如下：

然后将相关性权重和对应位置的U_ij相乘并相加，得到表示DataAspect词和DataContext中第i个单词的相关性，最终得到DataAspect关于DataContext中每个单词的相关性得分向量M^ac∈Rⁿ，计算如下：

DataContext关于DataAspect中每个单词的相关性分量为

第二次层注意力机制用于根据DataAspect关于DataContext中每个单词的相关性得分向量M^ac，找出DataContext中对于情感极性预测更重要的词；根据DataContext关于DataAspect中每个单词的相关性得分向量M^ca，找出DataAspect中对于情感极性预测更重要的词；

首先对M^ca进行mask处理，消除补0对结果的影响，再对mask处理过的M^ac进行softmax操作，得到DataContext中各个单词的注意力权重再将和H^c的第i个向量相乘再叠加，得到DataContext对于情感极性预测的最终向量表示计算如下：

mask(M^ac)

同样地，得到DataAspect对于情感极性预测的最终向量表示计算如下：

mask(M^ca)

输出层：将m_c和m_a拼接起来，得到最终情感极性预测的向量表示再将m经过全连接层处理得到最终标签的预测分布p，具体计算如下：

Tn＝[m_c，m_a]

p＝soft max(W*m+b)

其中，为一个可训练的参数矩阵，b∈R^c为偏置，C为方面级情感分类的类别数；

S3、使用训练好的分类模型对待预测的数据进行情感分类。