[发明专利]基于注意力增强的双向LSTM模型的情感分析方法

权利要求书

1.一种基于注意力增强的双向LSTM模型的情感分析方法，其特征在于，采用注意力增强的双向LSTM模型进行文本情感分析。

2.根据权利要求1所述的情感分析方法，其特征在于，所述方法采用注意力机制与双向LSTM模型相结合，使用双向LSTM模型学习文本语义信息，使用注意力机制加强对重点词的关注。

3.根据权利要求1所述的情感分析方法，其特征在于，所述方法包括：首先对输入的句子利用预训练好词向量进行表示，然后分别经过双向LSTM模型和注意力模型学习表示，将两部分表示后的向量拼接，最终通过分类器完成文本情感分析的工作。

4.根据权利要求1所述的情感分析方法，其特征在于，所述注意力增强的双向LSTM模型的结构包括：词语表示层、语义学习层、重点词关注层和分类层，词语表示层的输出分别作为语义学习层和重点词关注层的输入，分类层将语义学习层和重点词关注层的结果连接作为输入。

5.根据权利要求1所述的情感分析方法，其特征在于，词语表示层在相关语料上预训练出一个R^N×d规模的词典，N表示词典中词的个数，d表示词向量的维度；在进行词语表示时，用x_t表示文本中的第t个词，x_t∈R^d；若文本长度为T，则输入文本表示为：

S＝[x₁；x₂；...；x_T]∈R^T×d。

6.根据权利要求1所述的情感分析方法，其特征在于，采用双向LSTM模型对句子的语义信息进行编码；双向LSTM由正反两个LSTM模型组成，x_t为t时刻LSTM单元的输入数据，h_t是t时刻输出，C是不同时刻记忆单元的值；LSTM的遗忘门f_t决定记忆信息的通过量，遗忘门将x_t和上一时刻输出h_t-1作为输入，输出值在0和1之间，值用来描述每个部分通过量的多少；f_t的计算公式为：

f_t＝σ(W_f[h_t-1，x_t]+b_f)

式中σ为sigmoid函数，W_f是遗忘门权重，b_f为遗忘门偏置；

LSTM的输入门i_t控制当前的输入数据对记忆单元状态的影响，为要被添加到记忆单元的候选值；i_t和的更新公式分别为：

i_t＝σ(W_i[h_t-1，x_t]+b_i)

W_i为输入门权重，b_i是输入门偏置，tanh为双曲正切函数，W_C为更新后候选值权重，b_C为更新候选值偏置。