[发明专利]基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法

权利要求书

1.一种基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法，其特征在于，该方法具体包括以下步骤：

S1：获取网络文本信息，使用Word2vec分布式词嵌入编码方式对输入文本进行编码，将词序列{wi₁,wi₂，…，wi_n}转换为计算机能够识别的词嵌入向量{w₁,w₂，…,w_n}；

S2：通过Bi-GRU网络层对句子的前向和后向信息进行汇总，然后对来自这两个方向的信息进行合并得到最终的Bi-GRU模型的隐含向量；

S3：训练方面词向量，将方面词向量与隐含向量融合，将融合后得到的隐含向量作为输入输入到多层感知器中，得到新的隐含表示，然后计算单词的重要性词级上下文向量作为判断句子中不同单词重要性的高维的表示，在训练过程中随机初始化并且共同学习；具体包括以下步骤：

S31：构建一个简单的多层感知器；

S32：将隐含向量和随机初始向量输入到构建的简单的多层感知器共同学习得到新的隐藏表示u_t和上下文向量u_w，具体包括以下步骤：

S321：为每一个方面术语训练一个嵌入向量，假设有k个方面术语e₁,e₂,…,e_k，则方面词向量表示为：

S322：将方面词向量和隐含向量进行融合得到新的隐含向量，融合的隐含向量表示为：

f_t＝h_t+v_at

其中，{h₁,h₂,…,h_t,…,h_n}为隐含向量；

S323：将融合后向量和随机初始向量输入到构建的简单的多层感知器共同学习得到新的隐藏表示u_t和上下文向量u_w；

S33：通过公式计算每个词的注意力权重

S4：通过获得的每个单词的隐含向量乘以其通过自注意力层获得的对应的权重得到一个向量，再将该向量通过改进的softmax分类器中进行文本情感分类，整个过程使用Adam梯度下降的优化方案对损失函数进行优化。

2.根据权利要求1所述的网络文本情感分析方法，其特征在于，步骤S2具体包括以下步骤：

S21：将步骤S1得到的词嵌入向量输入到网络中；

S22：构建两个独立的GRU，对句子的前向和后向信息进行汇总，然后对来自这两个方向的信息进行合并；

前向GRU根据前向隐含向量和嵌入输入词计算出一个隐含向量，后向GRU根据后向隐含向量和嵌入输入词计算出一个隐含向量；

S23：将得到的前向隐含向量和后向隐含向量合并到Bi-GRU模型的最终隐含向量中。

3.根据权利要求1所述的网络文本情感分析方法，其特征在于，步骤S4具体包括以下步骤：

S41：通过自注意力层获得注意力权重；

S42：通过注意力权重与对应隐含向量的加权和来计算句子向量s，计算公式为：

S43：将s输入改进的softmax分类器中实现情感分类，改进的softmax函数如下：

其中，C′表示减去输入信号中的最大值；

S44：在模型训练过程中，采用反向传播算法，反向计算每个神经元的误差项值；采用Adam梯度下降的优化方案对损失函数进行优化。