[发明专利]中文字词向量和方面词向量联合嵌入情感分析方法

说明书

本发明公开一种中文字词向量和方面词向量联合嵌入CNN‑LSTM情感分析模型。包括：字词向量联合嵌入表示，词向量和方面词联合嵌入表示，卷积神经网络整合句子特征和方面词特征，句子特征和方面词特征联合输入LSTM神经网络，利用LSTM的时序记忆功能对文本特征进行排序，并且添加基于方面词的注意力机制，最后用全连接层与soft‑max函数判断情感类别。由于词语中的汉字对词语的意思具有一定的表征作用，中文字词向量结合嵌入可以使共享汉字的词语之间产生了联系。方面词和评论中的词向量组合输入神经网络训练，可以提高评论内容主题情感判断的准确度。卷积神经网络将二者特征融合，进一步提高情感分析模型的准确度。

技术领域

本发明涉及一种中文字词向量和方面词向量联合嵌入CNN-LSTM情感分析方法。

背景技术

近年来，越来越多的用户习惯在网络上发自己对某一事物的看法与评论。如何快速，准确地从互联网海量评论信息中分析所包含的用户情感已经成为当前信息科学与技术领域研究的热点。用户评论情感分析中最基本的任务是对用户的情感倾向进行分类，其中包括二元情感分类和多元情感分类。

在自然语言处理领域，深度学习方法首先将文本转化为一组向量序列表示，然后将该向量序列输入神经网络模型提取特征，最后将特征输入分类器进行情感分类。当前大部分的词向量模型针对一个单词只能生成一个向量,由于单词的多义性,使用同一个向量表达不同语境下的同一个单词是不准确的。对于神经网络训练手段，基于卷积神经网络的特征提取方法使用一个滑动窗口来提取输入的局部特征，并通过池化技术将这些局部特征组合起来；而基于循环神经网络的LSTM 神经网络的特征提取方法将输入编码为一个定长的特征，可以有选择地保存和遗忘信息来存储文本中的重要的信息。

然而，近年来随着深度学习技术发展而产生的基于深度神经网络的方法大多停留在使用单一网络或网络的简单变体的阶段，采用复杂结构进行长文本情感倾向性分析的研究相对较少。

发明内容

本发明的目的是：将卷积神经网络和LSTM网络组合，并且改变以往词向量嵌入模型，有效改善情感分析判断的准确度。

为了达到上述目的，本发明的技术方案是提供了一种中文字词向量和方面词向量联合嵌入情感分析方法，其特征在于，包括如下步骤：

步骤一、载入中文商品评论语料库，并将语料库按比例进行分割，分为训练集和测试集；

步骤二、利用jieba分词工具对训练集和测试集分别进行分词处理；

步骤三、利用神经网络模型进行字词向量联合预训练，得到词语的初始化词向量和汉字的初始化字向量表示，即得到字词向量联合嵌入表示；

步骤四、利用LDA模型对主题aspects进行建模，提取商品评论中的方面词，并且线性的将方面词与词向量结合，得到词向量和方面词联合嵌入表示；

步骤五、将步骤三中得到的字词向量联合嵌入表示输入到卷积神经网络一提取出不同维度的特征，然后经过池化操作得到字词向量联合嵌入表示的低维特征向量；

步骤六、将步骤四中得到的词向量和方面词联合嵌入表示输入到卷积神经网络二提取出不同维度的特征，然后经过池化操作得到词向量和方面词联合嵌入表示的低维特征向量；

步骤七、将步骤五得到的低维特征向量和步骤六得到的低维特征向量组合加权，即分别将两个卷积神经网络得到的字词向量和方面词向量进行拼接建模，得到拼接建模向量；

步骤八、利用LSTM神经网络，将步骤七得到的字词向量和方面词向量的拼接建模向量输入到LSTM中，利用LSTM的时序记忆功能对文本的特征进行排序，得到隐藏层当前的隐状态H；

步骤九、LSTM输出的隐层表示与主题aspects向量拼接后作为输入，经过一层神经网络得到的新的隐层表示，给当前的隐状态添加注意力机制，通过自动加权的方式决定输入文本需要关注的部分，分别得到句子向量的概率分布；