[发明专利]一种基于词注意力机制的多输入LSTM_CNN文本分类方法及系统

权利要求书

1.一种基于词注意力机制的多输入LSTM_CNN文本分类方法，其特征在于，包括以下步骤：

将给定的文本分为标题和正文，并分别将其由文本形式转换成向量形式；

采用BiLSTM网络模型分别捕获标题与正文的双向语义依赖关系，得到标题与正文的双向语义特征；

对正文的双向语义特征，采用注意力机制计算各个位置的词与分类任务的相关程度，从而确定词对句子的贡献程度，再对各个位置的双向语义特征进行注意力加权，得到正文的加权后的特征向量；

采用TextCNN模块对正文加权后的特征向量进行局部特征提取，从而得到正文的细粒度特征；

将标题双向语义特征与细粒度的正文的细粒度特征进行拼接，得到最终的文档级文本特征表示；

对文本特征表示进行预测，得到文本所述的类别概率。

2.根据权利要求1所述的一种基于词注意力机制的多输入LSTM_CNN文本分类方法，其特征在于，采用Word Embedding技术自训练词向量，将文本数据从文本形式转换成向量形式。

3.根据权利要求1所述的一种基于词注意力机制的多输入LSTM_CNN文本分类方法，其特征在于，所述对正文的双向语义特征，采用注意力机制计算各个位置的词与分类任务的相关程度，从而确定词对句子的贡献程度，再对各个位置的双向语义特征进行注意力加权，得到正文的加权后的特征向量具体为：

对于第i个句子，将BiLSTM的t时刻隐含层向量h_it作为词注意力层的输入，获得第t个位置的词的隐藏表示，并且由隐含表示计算出该时刻的输出向量，具体计算公式如下：

α_it＝tanh(W_Wh_it+b_w)；

S_it＝α_it·h_it；

式中，W_W和b_w表示模型训练参数，通过计算的注意力权重α_it衡量每个单词对句子的影响程度，再根据注意力权重α_it和h_it进行标量与向量的点乘运算计算该位置注意力加权后的特征向量输出S_it。

4.根据权利要求1所述的一种基于词注意力机制的多输入LSTM_CNN文本分类方法，其特征在于，所述TextCNN模块包括三个卷积模块，每个卷积模块均包括一个1D卷积层、一个BatchNormal层进行批标准化防止过拟合，一个激活函数层用于非线性映射以及一个MaxPooling层用于甄选区域重要特征、减少训练数据量；其中，第三个卷积模块中的MaxPooling层改为Global MaxPool层，进一步压缩提取区域特征。

5.根据权利要求1所述的一种基于词注意力机制的多输入LSTM_CNN文本分类方法，其特征在于，所述将标题双向语义特征与细粒度的正文的细粒度特征进行拼接，得到最终的文档级文本特征表示具体为：

将标题双向语义特征与细粒度的正文的细粒度特征进行concatenate拼接，将拼接后的向量通过两个由全连接层和BatchNormalization层组合而成的模块融合信息后，再经过一层全连接层，将向量特征维度映射到分类数量维度。

6.根据权利要求1所述的一种基于词注意力机制的多输入LSTM_CNN文本分类方法，其特征在于，所述对文本特征表示进行预测，得到文本所述的类别概率具体为：

利用softmax激活函数对所得向量进行归一化处理，得到的概率最大值所属索引对应的类别即为该文本所属分类类别。

7.一种基于词注意力机制的多输入LSTM_CNN文本分类系统，其特征在于，包括存储器、处理器以及存储在存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-8任一项所述的方法步骤。

8.一种计算机可读存储介质，其特征在于，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-8任一项所述的方法步骤。