[发明专利]基于注意力机制的LSTM-CNN词嵌入的细粒度情感分类模型

权利要求书

1.基于注意力机制的LSTM-CNN词嵌入的细粒度情感分类方法，其特征在于包括如下步骤：

步骤1、对需要进行情感分类的评论文本进行预分类处理；

步骤2、用LSTM模型对评论进行句子表示，获得句子的特征矩阵；

步骤3、用CNN模型对步骤2得到的特征矩阵执行卷积核池化操作，筛选出特征矩阵中较为突出的句子特征；

步骤4、指定一个角度词并输入相应的词嵌入向量v_a，让模型获取指定角度词的信息；

步骤5、利用注意力机制，针对给定的角度词的信息，从已经得到的句子特征中学习与该角度相关性较大的特征，弱化不相关的特征，突出相关联的特征；

步骤6、计算得到最终的句子表示，不同数值范围对应不同的情感极性，得到评论在指定方面的细粒度情感极性；

步骤1具体实现如下：

1.1将爬取自网络的评论信息整合成数据集；

1.2对数据集进行清洗：去掉标点符号、表情符、英文字符，然后引用停用词典去掉停用词；

1.3用现有的分词工具LTP对清洗后的数据集中的每一条评论进行分词；

1.4用W2V词向量模型将分词后的每一条评论表示为词向量形式s＝[w₁,w₂,…,w_N],N是句子长度,w_i是词向量；

步骤2具体实现如下：

2.1用一个初始的LSTM模型对固定长度的句子输入进行编码，如果句子编码后的向量长度不够，则末尾用数字0进行补齐；

2.2LSTM隐藏层的输出是隐藏层特征矩阵[h₁,h₂,…,h_N]，表示句子级别特征；隐藏层特征h_i,i∈[1,N]与词向量w_i是一一对应的关系；

步骤3具体实现如下：

CNN层的输入是LSTM的隐藏层输出；设置3种长度的滤波器，长度分别是1、2和3；每种长度的滤波器数量都是200个；滤波器将滑过输入的特征矩阵，滑动窗口的长度就是滤波器的长度；每种长度的滤波器都会得到200个特征矩阵，称为特征映射；运用激活函数Rule使得600个特征映射都被表示成单列的向量；然后应用最大池化操作从每个特征映射中选择值最大的特征；每个特征映射都会被表示成一个单独的值；最后将对应相同长度滤波器的特征映射被连接到一起，由此得到一个新的特征映射C＝[c₁,c₂,…c_N]；

步骤5具体实现如下：

步骤5.利用注意力机制，针对步骤4中给定的角度词的信息，从已经得到的句子特征C＝[c₁,c₂,…c_N]中学习与角度词的信息相关性较大的特征，弱化不相关的特征，突出相关联的特征，具体实现如下:

5.1步骤3中获得的每个特征映射c₁都与角度词的词向量v_a进行拼接获得M；

其中，圆圈中带叉号的运算符表示把向量v重复链接N次，e_N是单位向量；表示进行线性转换，执行次数是句子的长度；M是结合指定角度词后的CNN隐藏层表示；

5.2通过计算α＝softmax(ω^TM)，得到注意力权重向量α＝[α₁,α₂,…,α_N]，ω是模型在训练过程中需要学习的参数；紧接着，得到加权隐藏表示r；通过给定方面的最终句子表示根据如下得到：r＝Cα^T；

步骤6具体实现如下：

步骤6.添加一个线性层，将步骤5.2中的句子表示转换成长度等于情感类别数的向量；计算得到最终的句子表示，构成向量的数值分别对应不同的情感极性，不同数值范围对应不同的情感极性，其中最大的值所对应的情感极性就是这条评论在指定角度的细粒度情感极性。