[发明专利]一种基于残差注意力的方面级情感分析方法

权利要求书

1.一种基于残差注意力的方面级情感分析方法，其特征在于，所述方面级情感分析方法包括以下步骤：

S1：对输入的文本和所有的方面目标信息进行编码，将文本和所有的方面目标信息转变成张量形式，得到文本编码；其中设定输入的文本集合为包含n个单词，文本序列的向量表示为c'∈R^n×d；设定待预测的方面目标集合为包含m个单词，待预测方面目标的向量表示为a'∈R^m×d；设定其余方面目标集合为O＝{o₁,o₂,...,o_t}，共包含t个其余方面目标，代表其余方面目标集合中的第i个，包含l_i个单词，第i个其余方面目标的向量表示为其中d为词向量的维度；

S2：利用相对位置编码函数对待预测的方面目标在文本中的相对位置信息进行编码，并将得到的位置编码与S1中得到的文本编码进行融合；相对位置编码函数为：

将位置编码融入到文本编码中的得到融合了位置信息的文本编码函数为：

c_p＝c'Δexpand(p)

其中，i和j分别代表待预测方面目标首末单词在文中的位置,r和rl是以待预测方面为界，右半文本中离方面目标最近一个其余方面目标的首单词索引以及长度；p∈R^n×1是整个文本相对于待预测方面的位置编码，Δ代表张量的相对位置元素相乘，c_p∈R^n×d就是融合了位置信息的文本编码，expand(*)为维度扩展；

S3：利用注意力机制对待预测的方面目标和步骤S2中融入位置编码的文本编码进行处理；

对待预测的方面目标的处理公式为：

h_a＝tan(Conv1d(a'|e,f,q,p,s))

h′_a＝MaxPool1d(h_a|s')

其中，e、f、q、p、s和s'分别是卷积和池化操作的参数，h_a、h′_a分别代表卷积操作后的输出以及最大池化层操作后的输出；

对融入位置编码的文本编码进行处理的公式为：

h_i＝W_c·(c_p)^T+b_c

其中W_a∈R^f×f,b_a∈R^f×1,W_C∈R^f×d,b_c∈R^f×1是模型参数，S_a∈R^n×1是注意力机制得到的注意力矩阵，k为卷积核的数量值，为利用k个卷积核得到的输出h_i代表文本序列加上加上权值参数后的输出，f_i代表k个卷积核得到的输出加上权值参数后的结果；

然后对注意力矩阵进行处理公式为：

c”＝tan(c_pΔexpand(s_a))

c^r＝relu(c_p+c”)

其中，Δ代表张量的相对位置元素相乘，expand(*)为维度扩展，c”代表文本序列和注意力矩阵融合后的结果；

S4：利用残差机制将S3中处理后得到的编码与融入位置信息的文本编码进行结合，作为融合待预测方面目标信息的文本编码；

S5：利用卷积神经网络提取其余方面目标中的特征信息，与步骤S1中得到的文本编码进行交互处理，然后从步骤S4得到的文本编码中过滤，得到最终面向方面级情感分析的特征；

提取其余方面目标信息中的特征信息表示为O'＝{o′₁,o′₂,...,o′_t}，对其进行处理，处理函数如下：

g′_o＝W_o*o_e+b_o

l_o＝sigmoid(conv(c')+g′_o)

其中，W_o和b_o为模型参数，l_o为其余方面目标提取到的信息特征，o_e代表多个其余目标方面提取到的特征信息均值化操作的结果，g′_o代表o_e加上权值参数后的结果；

得到最终面向方面级情感分析的特征的处理公式为：

h_c＝tan(conv(c^r))

h′_c＝tan(conv(c^r)+g')-l_o

g'＝W_g*h_e+b_g

h_o＝maxpool(h_c×h′_c)

其中，W_g和b_g为模型参数，h_e为利用k个不同卷积核得到并在原维度上进行叠加得到的h_e∈R^(k*f)，h_c代表对经过注意力机制处理后的文本序列进行卷积操作，g'代表待预测的方面信息加上权值参数后的输出，h′_c代表在提取到的文本信息和待预测的方面信息进行融合同时从其中过滤掉其余方面的信息，h_o代表将通过注意力机制提取到的文本信息和过滤后的文本信息进行融合，并使用最大池化层来提取特征信息；

S6：利用最大池化层、全连接层和Softmax层对步骤S5过滤后的文本编码进行处理，得到最终结果，得到最终结果的处理公式为：

h_m＝tan(W_m·h_o+b_m)

其中，W_m和b_m为模型参数。