[发明专利]一种基于双记忆注意力的方面级别情感分类模型及方法

权利要求书

1.一种基于双记忆注意力的方面级别情感分类方法，其特征在于，利用基于双记忆注意力的方面级别情感分类模型，包括编码器、解码器和softmax分类器；

编码器：利用标准GRU循环神经网络依次对输入语句中的方面级别信息和输入语句进行编码，并从原始输入语句及其在编码器中的隐藏层状态中分别构成两个记忆，根据方面级别词语的位置对其进行加权，分别称为原始记忆和编码记忆；

解码器：由前馈神经网络注意力层和多层GRU循环神经网络组成，前者从方面级别记忆的语义关联中捕捉重要的情感信息，后者则将这些信息在不同计算层中选择性组合，构成对编码记忆和原始记忆的两个解码阶段；

Softmax分类器：将解码器学习到的特征用于情感分类；

包括以下步骤：

步骤1.设定输入语句为s＝{w₁,w₂,…,w_N}，对输入语句中的每个单词做词嵌入得到向量表示x＝{x₁,x₂,…,x_N}，其中N代表句子长度，1≤i≤N，d表示词向量维度，表示d维空间；设定输入语句中的方面级别信息为s_a＝{w_a1,w_a2,…,w_aL}，做词嵌入得到a＝{a₁,a₂,…,a_L}，其中L是输入语句中方面级别词语的数量；

步骤2.从输入语句中构建第一个记忆——原始记忆om，并根据方面级别词语的位置对其进行加权；将方面级别词语和上下文词语的绝对距离定义为词语的位置，将方面词语的位置看作0，则输入语句中的词语w_i的位置权重向量的第j个元素为：

其中，1≤j≤d，q_i是词w_i的位置，向量v_i是由堆叠起来的与x_i相同维度的向量；

计算原始记忆om中的第i片记忆为：⊙表示矩阵按元素相乘；

步骤3.用编码器对输入语句的方面级别词语进行编码，方面级别表示b_L为：

b_L＝GRU(b_L-1,a_L)

其中，是GRU在L-1时刻的隐藏层状态，b_l＝GRU(b_l-1,a_l)，2≤l≤L-1，b₁＝GRU(0,a₁)；

对输入语句进行编码，i＝1时，第一次计算的隐藏层状态为：

i≥2时，第i次计算的隐藏层状态为：

步骤4.从编码后的输入语句中构成第二个记忆——编码记忆em，权重向量与步骤2中构建原始记忆om所用位置权重向量v_i相同，最终得到编码记忆em中的第i片记忆为：

步骤5.在解码器上先对编码记忆em解码，利用解码器的前馈神经网络注意力层，以方面表示b_L、GRU之前的隐藏层状态和编码记忆em为输入，1≤t≤p，p为预设的编码记忆em解码阶段计算层数；

当2≤t≤p时，注意力权重的评分函数为：

其中，是编码记忆em中的第i个向量，矩阵和是模型参数，在训练开始前对参数矩阵随机初始化，在整个解码阶段共享；

当t＝1时，

采用一个Softmax函数来计算注意力权重β_t＝(β_t,1,β_t,2,…,β_t,N)：

最后得到输出向量：

当2≤t≤p时，由r_t^e和上一个计算层的隐藏层状态得到t时刻的隐藏层状态为：

当t＝1时，

步骤6.在解码器上对原始记忆om解码，利用解码器的前馈神经网络注意力层，以方面表示b_L、GRU之前的隐藏层状态和原始记忆om为输入，1≤u≤k，k为预设的原始记忆om解码阶段计算层数；

当2≤u≤k时，注意力权重的评分函数为：

其中，是记忆om中的第i个向量；

当u＝1时，

采用一个Softmax函数来计算注意力权重α_u＝(α_u,1,α_u,2,…,α_u,N)：

最后得到输出向量

当2≤u≤k时，由和上一个计算层的隐藏层状态得到t时刻的隐藏层状态为：

当u＝1时，

步骤7.将解码器的最后输出作为Softmax分类器的输入：

其中，是条件概率分布，是模型需要学习的参数，C是情感类别的集合,|C|是集合中情感类别的个数；

步骤8.采用有监督学习方式使交叉熵损失函数的最小化，其中损失函数如下所示：

其中，α_m是模型对训练集中第m个样本类别标签的正确预测概率，1≤m≤训练样本数。