[发明专利]基于CNN双向GRU注意力机制的短文本情感分析方法

权利要求书

1.一种基于CNN双向GRU注意力机制的短文本情感分析方法，其特征在于：所述包括以下步骤：

步骤(1)对短文本预处理，除噪、分词、词性标注、去除停用词，用中科院分词系统(NLPIR)对句子进行分词、词性标注，用哈工大停用词库去除停用词；

步骤(2)通过连续词袋模型(CBOW)将句子以词为单位通过负采样训练表示成一个词序列，并将其映射为一个多维向量来构造词向量集合；

步骤(3)计算情感词在不同数据集文档出现频数计算情感分值继而转化成情感特征向量矩阵；

步骤(4)词嵌入与特征嵌入拓扑作为卷积神经网络输入，通过卷积，池化得到句子表征；

步骤(5)通过双向GRU循环神经网络，把否定词转折词设置为注意力机制的参数查询项来获取表征；所述步骤(5)中，通过双向GRU循环神经网络，把否定词转折词设置为注意力机制的参数查询项来获取表征，词嵌入表征经过双向GRU网络输出句子的隐含层表征向量ε，门控循环单元(GRU)表示为：

其中ω_t，ξ_t分别表示t时刻Bi-GRU所对应的前向隐层状态和反向隐状态的权重，ζ_t表示t时刻隐层状态所对应的偏置项；

将否定词、转折词和程度副词作为参数化查询项v_a，由双向GRU网络输出的表征和参数化查询项v_a得到M，由M和参数化查询项v_a得到权重α_i，由α_i和ε_i得到关于否定词、转折词和程度副词作为参数化查询项注意力机制的特征向量；

M＝tanh(w_sε_i+w_tv_a)

其中w_s为特性向量ε_i的可调节权重矩阵，w_t为参数化查询项v_a的可调节权重矩阵，M^T为权重矩阵M的转置矩阵；

步骤(6)两种表征拓扑结合作为全连接层输入，输出情感分析结果。

2.根据权利要求1所述的基于CNN双向GRU注意力机制的短文本情感分析方法，其特征在于：

所述步骤(2)中，CBOW即连续词袋模型是Word2vec词嵌入的一种，基于某中心词在文本序列前后的背景词来生成该中心词，构建词向量矩阵，即每一个词w_i都会由一个多维的向量q_i表示。

3.根据权利要求1所述的基于CNN双向GRU注意力机制的短文本情感分析方法，其特征在于：

所述步骤(3)中，计算情感词在不同数据集文档出现频数计算情感分值继而转化成特征向量，具体如下：

使用Hownet情感词典，w_i为情感词典的第i个情感词，为包含情感词w_i的积极情感数据样本个数，为包含情感词w_i的消极情感数据样本个数，F(w_i)为情感词w_i在数据集上的文档频数；F_min为最小文档频数，F_max为最大文档频数，S(w_i)为包含情感词w_i的情感得分；β、k为可调参数；对每一个情感词w_i都会得到情感得S(w_i)分值继而得到一个多维的连续值向量e(w_i)。