[发明专利]一种混合长短期记忆网络和卷积神经网络的文本分类方法

权利要求书

1.一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于，所述方法包括以下步骤：

步骤1、对文本中的句子进行预处理，结合训练语料集中句子的长度分布及均方差，确定句子的长度阈值后形成统一的句子长度，利用预训练好的词向量表获取输入文本中每一个词的向量化表示，形成连续和稠密的实数向量矩阵；

步骤2、对于输入的句子词向量，分别通过一个正向的LSTM网络学习各个词的上文信息和一个逆向的LSTM网络学习各个词的下文信息，并将学习的结果进行串联合并，从而将包含语义信息的句子词向量表示转化为同时包含语义及上下文信息的表示；

步骤3、使用多个不同宽度、包含不同权值的核矩阵分别对双向LSTM网络输出的词向量矩阵进行二维卷积运算，提取局部卷积特征，并生成多层局部卷积特征矩阵；

步骤4、使用一维最大值池化算法对多层局部卷积特征矩阵进行下采样，得到句子的多层全局特征矩阵，并将结果进行串联合并；

步骤5、使用两个相反方向的LSTM网络分别学习句子局部特征间的长期依赖关系，并将最后的学习结果进行输出；

步骤6、将步骤5的输出结果先通过一个全连接隐层，接着再经过一个softmax层对句子的类别进行预测。

2.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述一种混合长短期记忆网络和卷积神经网络的文本分类方法是在一个多层神经网络中完成的，所述步骤1在第一层输入层中完成，步骤2在第二层双向LSTM层中完成，步骤3在第三层CNN层中完成，步骤4在第四层池化层中完成，步骤5在第五层双向LSTM层中完成，步骤6在第六层输出层中完成。

3.根据权利要求2所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述第二层双向LSTM层用于学习原始输入句子中各个词的上下文信息，并且把每个词的学习结果进行串联后输出，所述第五层双向LSTM层学习卷积后句子特征间的上下文信息，并且只输出最后一步的学习结果。

4.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：步骤1中，所述对句子进行预处理包括标点符号过滤、缩写补齐、删除空格、对句子进行分词和非法字符过滤。

5.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述步骤3为局部特征学习过程，通过多个不同词步长的二维卷积窗口和卷积核对包含上下文信息的词向量进行学习，从而得到不同粒度的短语信息。

6.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述步骤4为采样和降维过程，通过一维最大值池化算法对多层局部卷积特征矩阵进行下采样，得到句子中每一个池化窗口内最重要的特征值，并作为局部窗口中的特征表示。

7.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述步骤5为局部特征的上下文学习，通过双向LSTM学习局部特征之间的上下文信息，并输出最后一个词向量的学习结果，同时形成固定维度的一维输出。

8.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述步骤6为分类输出，通过一个全连接的多层感知器进行分类判断，并根据指定分类体系上的概率分布情况得到最终的输出。

9.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述步骤6在一个多层感知器中完成，包括一个全连接隐层和一个softmax层，步骤6的输出结果为对应文本的预测类别。