[发明专利]一种基于层次注意力机制和门机制的属性级别情感分析方法

权利要求书

1.一种基于层次注意力机制和门机制的属性级别情感分析方法，其特征在于，包括以下几个步骤：

步骤S1：获取评论语料之后将评论语料进行预处理，并将预处理之后评论句子属性词以及属性词的上下文，通过GloVe词向量索引，得到上下文词嵌入矩阵和属性词嵌入矩阵；

步骤S2：将上下文和属性词输入到GRU中得到上下文隐藏状态和属性词隐藏状态，其状态分别为其中d_h为GRU隐藏层维度；

其中：在上述公式中：n为上下文的长度、m为属性词的长度，为上下文中的第n个词的隐藏状态，为属性词中的第m 个词的隐藏状态；

步骤S3：将上下文和属性词通过层次注意力机制之后得到上下文表示1和属性词表示；

步骤S3具体为：

步骤S301，先利用参数矩阵得到上下文和属性词之间的注意力机制的权重矩阵

步骤S302，利用权重矩阵H与上下文隐藏状态进行矩阵乘法，得到上下文对属性词表示的影响矩阵，将影响矩阵与属性词隐藏状态相加之后，通过参数矩阵和偏置矩阵对属性词表示的进行调节，最后通过激活函数得到属性词表示

步骤S303，在得到属性词表示之后，利用权重矩阵H与属性词表示进行矩阵乘法，得到属性词对上下文表示的影响矩阵，将影响矩阵与上下文隐藏状态相加之后，通过参数矩阵和偏置矩阵对上下文表示的进行调节，最后通过激活函数得到上下文表示1；

步骤S4：将上下文和属性词通过门机制得到上下文表示2；

步骤S4具体为：

步骤S401，先将属性词隐藏状态进行平均池化得到属性词的平均向量表示

步骤S402，利用属性词的平均向量，通过门机制的选择作用，得到属性词对上下文的影响矩阵

步骤S403，得到属性词对上下文的影响矩阵之后，将影响矩阵与上下文隐藏状态进行相加，并通过参数矩阵对上下文表示进行调整，最后经过激活函数得到上下文表示2；

步骤S5：分别利用自注意力机制对上下文表示1、属性词表示和上下文表示2进行向量化，得到上下文向量表示1即属性词向量表示即和上下文向量表示2即

步骤S6：将上下文向量表示1、属性词向量表示和上下文向量表示2进行拼接之后，得到总体向量表示并通过分类器得到属性词在上下文对应的情感极性的分布；

步骤S7：利用预测属性词在上下文中的情感极性分布与真实属性词在上下文中的情感极性分布之间的差异性，对模型中的参数进行调整。

2.根据权利要求1所述的一种基于层次注意力机制和门机制的属性级别情感分析方法，其特征在于，步骤S1包括下述步骤：

步骤S101，对属性级别情感分析所使用的SemEval 2014 Task4和Twitter数据集进行预处理，去掉数据集中的停用词、单词性还原；

步骤S102，利用GloVe词向量词典对上下文属性词进行索引，得到对应上下文和属性词对应的词嵌入矩阵分别是和

其中i∈[1，n]、j∈[1，m]，n表示上下文的词的个数、m为属性词中词的个数，分别表示上下文中第i个词和第i个词对应的词向量，分别表示属性词中第j个词和第j个词对应的词向量， d_w为词嵌入中每个词对应的维度；

所述的为上下文、为属性词。

3.根据权利要求1所述的一种基于层次注意力机制和门机制的属性级别情感分析方法，其特征在于，步骤S2具体为将上下文词嵌入矩阵和属性矩阵分别通过GRU，得到上下文和属性词隐藏状态。

4.根据权利要求1所述的一种基于层次注意力机制和门机制的属性级别情感分析方法，其特征在于，步骤S7所述的调整是将交叉熵作为损失函数对模型中的参数进行调整。