[发明专利]基于多分类节点卷积循环网络的文本特征提取及分类方法

说明书

本发明请求保护一种基于多分类节点卷积循环网络的文本特征提取及分类方法。首先对文本数据进行预处理生成词向量；然后一维卷积网络提取多个词的词向量的组合特征；分别将提取到的词语组合特征输入双向长短期记忆循环网络和多重卷积网络中。其中双向长短期记忆循环网络的输出作为主分类器的输入，多重卷积网络含有辅分类器，辅助网络训练。优化加权后的总损失函数，并对主分类器进行性能测试并实现分类。本发明能够获得较高的分类准确率。

技术领域

本发明属于文本的特征提取及分类方法技术领域，特别是一种基于多分类节点卷积循环网络的文本特征提取及分类方法。

背景技术

互联网每天都会产生海量的文本数据。如何有效地挖掘文本信息，对文本数据进行有效的分类是自然语言处理领域的经典问题。

当前，针对文本分类的模型已经有了大量的研究。常用的特征分类方法包括线性判别式分析(LDA)，人工神经网络(ANN)，支持向量机(SVM)，朴素贝叶斯(Naive Bayesian)等。而深度学习具有强大的处理非线性和高维数据的能力，能够自动从原始数据中提取有效信息，并且引入了词嵌入(Word Embeding)的机制，将文本数据映射到一个低维度的词向量，为文本的表示方法引入语义信息。因此很多深度学习的方法也被应用到文本特征提取及分类中。

卷积神经网络和循环神经网络是常见的两种深度学习网络结构。卷积神经网络连接稀疏，卷积核参数共享，减小了模型存储容量，统计效率高。循环神经网络，考虑上下文的语义建模，符合文本的时序特性。结合两者优势在网络低层提取词语组合特征，在网络高层提取文本时序特征。整个网络中任何一层的特征均对分类结果有贡献，注重网络低层的特征学习更是有助于整体网络学习文本表达。

因此，需要一种基于多分类节点卷积循环网络的文本特征提取及分类方法，引入辅助分类节点，增加辅助支路加强对低层特征的学习。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种强化低层特征学习和提高模型的泛化能力的基于多分类节点卷积循环网络的文本特征提取及分类方法。本发明的技术方案如下：

一种基于多分类节点卷积循环网络的文本特征提取及分类方法，其包括以下步骤：

步骤1：采用包括分词、清洗文本、词向量训练在内的步骤预处理文本语料

步骤2：使用一维卷积网络获取步骤1预处理后的多个词语的组合特征；

步骤3：使用双向长短期记忆循环网络提取步骤2所得的特征的时序信息，生成句子的特征表达，并作为主分类器的特征输入；

步骤4：使用多重卷积网络将步骤2所得的特征再次组合，生成句子的特征表达，并作为辅分类器的特征输入；

步骤5：加权得到总损失函数，采用RMSprop基于批量梯度下降优化损失函数降至最低；

步骤6：对主分类器进行性能测试并实现分类。

进一步的，所述步骤1：采用包括分词、清洗文本、词向量训练在内的步骤预处理文本语料，具体包括：

分词：对中文词语根据语义分词，英文需根据空格切割单词；

清洗文本：将大写英文字符转换为小写，去除文本中对分类无明显帮助的停用词汇、标点符号及数字；

词向量训练：通过Glove算法，根据复现词语的共现情况，生成d维的词向量。

进一步的，所述步骤2采用一维卷积网络，以滑动的卷积窗口抽取词向量间的词语组合特征，具体包括:固定文本包含m₁个词语，每个词对应d维的词向量,不足长度的文本通过0填充补足，超出长度的文本需要将其在尾部截断,设定滑动窗口大小为k，卷积核为n,表示句长m₁的文本经n个卷积核一维卷积的输出矩阵；