[发明专利]一种混合长短期记忆网络和卷积神经网络的文本分类方法

说明书

本发明公开了一种混合长短期记忆网络和卷积神经网络的文本分类方法，通过充分结合双向长短期记忆网络在学习文本的上下文信息方面的优势以及卷积神经网络在学习文本局部特征方面的优势，利用双向长短期记忆网络学习词的上下文信息后，再通过卷积神经网络进一步学习提取上下文信息的词向量的局部特征，接着再利用双向长短期记忆网络学习这些局部特征的上下文，形成固定维度的输出，最后通过一个多层感知器进行分类输出。可以进一步提高模型分类的准确率，并具有较好的通用性，在测试的多个语料库上都取得了很好的效果。

技术领域

本发明涉及自然语言处理领域，具体涉及一种混合长短期记忆网络和卷积神经网络的文本分类方法。

背景技术

基于机器学习的文本自动分类是近年来自然语言处理领域中最热门的一个研究方向，在信息检索、搜索引擎、自动问答、电子商务、数字图书馆、自动文摘、新闻门户等众多领域已经得到广泛和深入的应用。所谓的文本自动分类是指在给定分类体系的前提下，利用机器学习的方式来对文本的内容进行分析后自动确定文本类别的过程。20世纪90年代以前，文本自动分类主要采用基于知识工程的方式，即由专业人员手工进行分类，其缺点是成本高、费时费力。90年代以来，许多研究人员开始将各种统计方法和机器学习方法应用于自动文本分类，例如支持向量机SVM、AdaBoost算法、朴素贝叶斯算法、KNN算法和Logistic回归等。近年来，随着深度学习和各种神经网络模型的快速发展，基于深度学习的文本分类方法引起了学术界和工业界的密切关注与研究，一些典型的神经网络模型，如递归神经网络(以长短期记忆网络LSTM和GRU为主要代表)和卷积神经网络CNN都被广泛地应用于文本的分类中，并取得了良好的效果。现有的研究和应用已证明递归神经网络适合用于学习句子中语言单元间的长期依赖关系，卷积神经网络适合用于学习句子的局部特征，但目前的研究没有充分地结合递归神经网络和卷积神经网络各自的优势，也没有结合考虑句子中语言单元的上下文信息。

发明内容

本发明的目的是针对上述现有技术的不足，提供了一种混合长短期记忆网络和卷积神经网络的文本分类方法，利用双向LSTM学习文本句子中词的上文信息和下文信息，接着将学习结果通过CNN进一步提取局部特征，然后再利用一个双向LSTM层来学习局部特征间的关系，最后将学习结果通过一个多层感知器进行分类和输出。

本发明的目的可以通过如下技术方案实现：

一种混合长短期记忆网络和卷积神经网络的文本分类方法，所述方法包括以下步骤：

步骤1、对文本中的句子进行预处理，结合训练语料集中句子的长度分布及均方差，确定句子的长度阈值后形成统一的句子长度，利用预训练好的词向量表获取输入文本中每一个词的向量化表示，形成连续和稠密的实数向量矩阵；

步骤2、对于输入的句子词向量，分别通过一个正向的LSTM网络学习各个词的上文信息和一个逆向的LSTM网络学习各个词的下文信息，并将学习的结果进行串联合并，从而将包含语义信息的句子词向量表示转化为同时包含语义及上下文信息的表示；

步骤3、使用多个不同宽度、包含不同权值的核矩阵分别对双向LSTM网络输出的词向量矩阵进行二维卷积运算，提取局部卷积特征，并生成多层局部卷积特征矩阵；

步骤4、使用一维最大值池化算法对多层局部卷积特征矩阵进行下采样，得到句子的多层全局特征矩阵，并将结果进行串联合并；

步骤5、使用两个相反方向的LSTM网络分别学习句子局部特征间的长期依赖关系，并将最后的学习结果进行输出；

步骤6、将步骤5的输出结果先通过一个全连接隐层，接着再经过一个softmax层对句子的类别进行预测。