[发明专利]基于词向量和字向量混合模型的文本情感分析方法

权利要求书

1.基于词向量和字向量混合模型的文本情感分析方法，其特征在于，所述文本情感分析方法包括以下步骤:

步骤1、对中文数据集进行预处理操作，利用Word2Vec同时训练词向量和字向量矩阵；

步骤2、将训练好的词向量矩阵x_1:l和字向量矩阵w_1:l作为双向长短期记忆网络的输入特征，学习文本的序列特征，并接入注意力层优化特征向量；

步骤3、将训练好的词向量矩阵x_1:l和字向量矩阵w_1:l作为卷积神经网络输入特征，进行卷积、池化操作学习文本的局部特征，并接入注意力机制获取文本的深层次特征；

步骤4、将引入注意力机制的卷积神经网络层提取到的特征s_c和引入注意力机制的双向长短期记忆网络层提取到的特征向量s_l进行融合，输入softmax分类层进行分类，积极为1，消极为0，并与文本标签进行对比计算，得出文本分类正确率。

2.根据权利要求1所述的基于词向量和字向量混合模型的文本情感分析方法，其特征在于，步骤1中，对中文数据集进行预处理操作，利用Word2Vec同时训练词向量和字向量矩阵，包括如下步骤：

步骤11、对文本进行预处理工作提升词向量的质量，包括去停用词，分词过程；

步骤12、词向量训练工作使用Google公司开源的Word2vec工具，使用Word2vec工具中的Skip-gram模型对字向量和词向量进行训练，将预处理过的语料训练成128维度的字向量和词向量，词向量矩阵和字向量矩阵分别表示为：

其中，代表连接运算符，l代表句子的长度，取定值为60，x_1:l代表60×128的词向量矩阵，w_1:l代表60×128的字向量矩阵。

3.根据权利要求1所述的基于词向量和字向量混合模型的文本情感分析方法，其特征在于，步骤2中，将训练好的词向量矩阵x_1:l和字向量矩阵w_1:l作为BiLSTM的输入特征，学习文本的序列特征，并接入注意力层优化特征向量，包括如下步骤：

步骤21、将转换过的词向量矩阵x_1:l和字向量矩阵w_1:l分别输入到双向长短期记忆网络进行训练，使用双向长短期记忆网络进行特征提取，获得文本的序列特征，提高网络的收敛性，得到双向长短期记忆网络字向量的隐层状态h_wi和词向量的隐层状态h_xi，将转换过的词向量矩阵x_1:l输入到双向长短期记忆网络进行训练，得双向长短期记忆网络词向量的隐层状态h_xi，公式表达为：

f_t＝σ(w^fx_1:l+u^fh_t-1+b^f)

i_t＝σ(wⁱx_1:l+uⁱh_t-1+bⁱ)

o_t＝σ(w^ox_1:l+u^oh_t-1+b^o)

h_xt＝o_tΘtanh(c_t)

其中，σ是sigmoid激活函数，输出在[0,1]之间，决定有多少信息可以通过，tanh是双曲正切函数，Θ运算符号代表矩阵相乘操作，遗忘门f_t决定“忘记”在反向传播中不重要的信息，输入门i_t决定了待更新信息的多少，输出门o_t决定从当前细胞状态c_t输出到隐藏层状态h_xt的内容。当前的细胞状态c_t就是将过去的细胞状态c_t-1和新的记忆进行合并，w⁽ⁱ⁾和u⁽ⁱ⁾代表数据处理过程中的权重，将转换过的字向量矩阵w_1:l输入到双向长短期记忆网络进行训练，得到双向长短期记忆网络字向量的隐层状态h_wi，公式表达为：

f_t＝σ(w^fw_1:l+u^fh_t-1+b^f)

i_t＝σ(wⁱw_1:l+uⁱh_t-1+bⁱ)

o_t＝σ(w^ow_1:l+u^oh_t-1+b^o)

h_wt＝o_tΘtanh(c_t)

其中，σ是sigmoid激活函数，输出在[0,1]之间，决定有多少信息可以通过，tanh是双曲正切函数，Θ运算符号代表矩阵相乘操作，遗忘门f_t决定“忘记”在反向传播中不重要的信息，输入门i_t决定了待更新信息的多少，输出门o_t决定从当前细胞状态c_t输出到隐藏层状态h_wt的内容。当前的细胞状态c_t就是将过去的细胞状态c_t-1和新的记忆进行合并，w⁽ⁱ⁾和u⁽ⁱ⁾代表数据处理过程中的权重；

步骤22、将步骤21得到双向长短期记忆网络的字向量的隐层状态h_wi和词向量的隐层状态h_xi使用点乘的方式进行融合；：

h_i＝[h_wi·h_xi]

步骤23、将双向长短期记忆网络中的隐藏层状态h_i非线性变换为u_i，

u_i＝tanh(w_wh_i+b_w)

其中，w_w和b_w表示的是权重矩阵和权值向量；

步骤24、使用softmax函数对u_i进行归一化操作,得到注意力矩阵，即双向长短期记忆网络的输出权重系数α_i；

其中，u_w表示的是初始化权重矩阵；

步骤25、将步骤24得到的双向长短期记忆网络层的输出权重系数α_i与步骤22得到的隐层状态h_i相乘，得到引入注意力机制的双向长短期记忆网络层提取的特征向量s_l；

其中，α_i表示的是输出权重系数。