[发明专利]基于GRU的属性级别情感分析方法

权利要求书

1.基于GRU网络的属性级情感分析模型，其特征在于：模型包括五个部分即输入层、嵌入层、GRU层、attention层和输出层；输入层将短文本即句子输入到模型中；嵌入层将句子中的每一个词映射成一个向量；GRU层利用从词嵌入中来获取特征信息；attention层实现注意力机制，它将会通过权重计算把词一级的特征信息融合成句子级的特征信息而产生一个句子特征向量；最终将句子特征向量进行分类；

1.1输入层

在输入层输入每一个需要进行情感极性分类的句子，假设句子长度为T，则句子表示为s＝{x₁,x₂,...,x_T}，x_i表示句子中的第i个单词；

1.2嵌入层

在从输入层获得的一个包含T个词的句子s＝{x₁,x₂,...,x_T}，后每一个词在嵌入层得到其对应的词向量e_i

首先从词嵌入矩阵中获得每一个词的词向量，这里V是词表的长度，d^w是可以指定的词向量维数，则有

emb_i＝W^wrdvⁱ (1)

其中vⁱ是一个长度为|V|的向量，其中在i处为1，其他处为0；同样得出aspect的词向量emb_asp，当句子中aspect为多个单词的时候，将每个单词的词向量相同维度的值加起来得到aspect的词向量；然后将emb_i和emb_asp拼接起来得到最终的词向量e_i：

e_i＝[emb_i:emb_asp] (2)

最后将e＝{e₁,e₂,...,e_T}输入到下一层；

1.3 GRU层

在GRU层中，将会以属性为分界点，将句子分为左右部分去对属性上下文建模，其中{x_l+1,x_l+2,...,x_r-1}表示aspect，{x₁,x₂,...,x_l}表示句子中属性以前的单词，{x_r-1,x_r-2,...,x_T}表示属性以后的单词；将左右两个序列输入到左右两个网络后隐藏层分别得到{h₁,h₂,...,h_r-1}和{h_l+1,h_l+2,...,h_T}；

1.4 attention层

在这个模型中引入注意力机制来获得更好的分类效果，这是由于句子中前后两部分的不同词和属性有不同的联系，将更多的来关注和属性联系紧密的信息；注意力机制的实现如下：

a_t＝softmax(w^TM) (4)

r＝Ha_t (5)

这里a_t表示的是注意力权重系数，表示重复e_asp多次至和H的维度保持一致,H是模型中隐藏层输出组成的矩阵，r表示的是加权后的表示句子含义的向量,W_h、W_v、w是参数矩阵，然后得到能够最终表针句子信息的向量o

o＝tanh(W_pr+W_xh) (6)

h表示h_r-1和h_l+1向量的和；

1.5输出层

最后将注意力层的输出o输入到分类器

实现情感的极性分类，其中W_o和b_o是要训练得到的参数矩阵。

2.基于GRU的属性级别情感分析方法，其特征在于：本方法的具体步骤如下：

步骤S1、首先将所用的收集于推特的数据集输入到Att-CGRU模型的输入层；

步骤S2、将S1得到的数据输入到嵌入层，得到输入句子中每个词的词向量，

步骤S3、在GRU层中通过S2的方式得到句子中每个词的词向量后，以属性词{x_l+1,x_l+2,...,x_r-1}为分界点将左边{x₁,x₂,...,x_l}单词的词向量和右边{x_r-1,x_r-2,...,x_T}单词的词向量输入到两个左右两个GRU网络分别对属性词的上下文建模，从隐藏层分别得到输出{h₁,h₂,...,h_r-1}和{h_l+1,h_l+2,...,h_T}；

步骤S4、根据S4的输出，按照以下公式来计算能代表句子信息的向量o，具体公式如下：

a_t＝softmax(w^TM)

r＝Ha_t

这里r表示的是加权后的能表征句子含义的向量,a_t表示的是注意力权重系数，其由将w^TM输入到softmax函数后得出，M表示一个由模型GRU层中隐藏层的输出组成的矩阵H得来的向量，表示重复属性词词向量e_asp多次至和H的维度保持一致,H是模型中隐藏层输出组成的矩阵,tanh代表tanh函数，W_h、W_v、w是参数矩阵；最终得到能够最终表针句子信息的向量o

o＝tanh(W_pr+W_xh)

h表示h_r-1和h_l+1向量的和，h_r-1表示左GRU网络中的第r-1个词对应的隐藏层输出，h_l+1表示右GRU网络中的第l+1个词对应的隐藏层输出，W_p和W_x表示参数矩阵；

步骤S5、输出层是将能够表针句子信息的向量o输入到softmax函数得到预测的情感极性具体由得出，W_o和b_o都是参数矩阵；步骤6、根据S5的输出和每个句子对应的实际分类y计算损失函数值loss

其中λ是正则化系数，并通过误差反向传播算法训练迭代至Accuracy取得最大值，误差反向传播算法中的优化算法是以初始化系数为0.01的AdaGrad算法。