[发明专利]一种利用上下文和方面记忆信息的情感分类方法

权利要求书

1.一种利用上下文和方面记忆信息的情感分类方法，其特征在于，包括以下步骤：

步骤1、选择待进行情感分析的数据集；

步骤2、建立基于方面的情感分析模型；

所述基于方面的情感分析模型包括上下文记忆构建模块，方面记忆更新模块和情感分类模块；

所述上下文记忆构建模块包括词嵌入层、位置相关层和BiLSTM层；

所述词嵌入层将每个单词映射成词嵌入向量之后，将句子和方面用嵌入向量表示；设定输入的句子是s＝{w₁,w₂,...,w_n}，其中，w_n为句子中的第n个单词，n是句子的长度，方面是a＝{w_t,...,w_t+k}，其中，k是方面中单词的个数，即方面的长度，且t+k＜n，即方面是句子的子集；将每个单词映射成词嵌入向量之后，句子向量表示为v_s＝{e₁,e₂,...,e_n}；当方面包含单个的单词时，使用方面单词的嵌入向量e_t来表示方面向量v_a，当方面包含多个单词时，使用e_t到e_t+k这k个嵌入向量均值池化的结果来表示方面向量v_a；

所述位置相关层计算句子中每个单词与方面之间的距离，进而得出在句子中每个单词的位置权重，使得靠近方面的单词所占的比重增大，而远离方面的单词所占的比重减小；对于给定的方面和句子中第i个单词的位置关系通过位置相关系数g_i表示，如下公式所示：

其中，t是方面中第一个单词的位置，N是一个超参数，n是句子的长度，k是方面的长度；在数据集中，长度小于最大长度的语句的末尾填充零，所以当i＞n时，位置相关系数g_i＝0；

为了使方面的信息被完全考虑，使句子中每个单词的词嵌入向量e_i和方面向量v_a上进行相乘再连接的操作来融合文本和方面的信息，计算公式如下所示：

f(e_i,v_a)＝[e_i；e_i⊙v_a]           (2)

其中，符号“⊙”表示点乘操作，符号“；”表示连接操作；

则位置相关层的输出如公式所示：

x_i＝f(e_i,v_a)*g_a,i∈[1,n]          (3)

其中，x_i表示结合了位置权重以及方面信息的词向量；

所述BiLSTM层接收位置相关层的输出，得到句子中给定单词的特征表示；

所述BiLSTM层采用双向LSTMs模型连接句子中单词前后两个方向的特征表示，得到句子中给定单词的特征表示；第i个单词前向LSTM的细胞状态和隐藏状态是从它前一个位置的细胞状态隐藏状态和当前的输入向量x_i得到的；第i个单词后向LSTM的细胞状态和隐藏状态是从它后一个位置的细胞状态隐藏状态和x_i得到的；前向和后向LSTMs表示为：

其中，g^(LSTM)表示LSTM的计算；

连接句子中单词前后两个方向的输出表示为：

其中，符号“||”表示连接操作，h_i表示单词i的最终隐藏状态；

所述方面记忆更新模块包括hop个计算层，每个计算层均包括多头注意力层和更新方面记忆层；

所述多头注意力层使用多头自注意力机制或多头编码解码注意力机制为每个单词特征表示设置权重，然后将这些单词的特征表示和权重聚合起来得到考虑了上下文单词之间相关性的输出或考虑了方面和上下文单词之间相关性的输出，进而得到最终的句子表示；

所述更新方面记忆层将注意力层输出的句子表示r与方面向量v_a相加，从而得到新的方面向量v′_a，如下公式所示：

v′_a＝r+v_a            (13)

将新的方面向量v′_a作为下一个计算层的方面向量，将方面向量v′_a重新通过下一个计算层的多头注意力层和更新方面记忆层，直到达到预设的最大的hop数量，hop是一个超参数，需要对其预设定值；

所述情感分类模块是将在方面记忆更新模块中进行多次更新方面记忆之后输出的方面向量v′_a输入到线性层和softmax层来预测方面情感；

步骤3、通过交叉熵损失函数与L₂正则化项的和来训练基于方面的情感分析模型，如下公式所示：

其中，T是训练集所包含的句子数量，C是所有情感类别的集合，(s,a)表示句子和对应的方面，p_c(s,a)表示给定句子s和方面a下的预测的分类概率，y_c(s,a)是真实情感类别对应的独热码向量，λ是正则化项的权重，θ是模型中的所有权值参数；

步骤4、将待进行情感分析的数据集通过训练好的基于方面的情感分析模型，实现文本的情感分析。