[发明专利]一种基于神经网络结构模型的文本分类方法及分类系统

说明书

本发明属于自然语言处理中文本分类领域，公开了一种基于神经网络结构模型的文本分类方法，所述分类方法包括搜集待分类的文本数据；处理文本数据，将文本数据中的语句以词向量表示；构建神经网络结构模型；基于所述神经网络结构模型，以RNN和CNN网络模型结构为基础，加入注意机制构建编码器；将以词向量表示的文本数据输入编码器，输出包含上下文信息的状态向量；根据状态向量使用分类器对文本数据进行分类，获得分类结果。本发明分类方法充分提取文本特征向量，提高文本分类的准确率，提高具体QA应用场景中意图识别的准确率。本发明还提出了一种文本分类系统。

技术领域

本发明属于自然语言处理中文本分类领域，尤其涉及一种基于神经网络结构模型的文本分类方法及分类系统。

背景技术

随着移动互联网、社交和新媒体等网络平台爆发式的增长，网络中充斥了大量缺乏有效信息组织但具有研究价值的文本，而文本分类作为自然语言处理的关键技术之一，能够有效解决信息杂乱等问题，并广泛应用于搜索引擎、垃圾邮件过滤、个性化新闻和资料分拣等任务中。因此，文本分类在自然语言处理、数据的智能化组织与管理等领域发挥着重要的作用。

余本功等(余本功,张连彬.基于CP-CNN的中文短文本分类研究.《计算机应用研究》)提出了一种结合词和字符的双输入卷积神经网络模型CP-CNN，有效提高了短文本分类的效果。Yang Z等(Yang Z,Yang D,Dyer C,et al.Hierarchical attention networksfor document classification[C],Proceedings ofNAACL-HLT.2016:1480-1489.)将注意力机制引入到网络结构进行文本分类，提高了分类的准确率。夏从零等(夏从零,钱涛,姬东鸿.(2017).基于事件卷积特征的新闻文本分类.计算机应用研究,34(4),991-994.)提出了一种基于事件卷积特征的文本分类方法。但由于自然语言本身结构的特殊性，自然语言中有着上下文依赖的非连续关系，上述所研究的卷积神经网络模型均存在着卷积核大小难以确定、文本的向量维度过高等问题，并且这些模型与目前应用于图像处理和语言识别领域优秀的网络相比结构仍然较浅，卷积神经网络(CNN)(如图1所示)是多个网络层叠加组成的，较浅是指用于文本分类的CNN层数与图像处理和语音识别领域的CNN层数相比，且卷积神经网络在提取文本特征时没有综合考虑文本前向和反向关系特征以及整个文本之间的关系，不能捕捉文本的上下文含义，语义特征提取不全，分类结果不理想。

发明内容

为克服现有技术的上述缺陷，本发明提出了一种基于神经网络结构模型的文本分类方法及分类系统，可以用于人机对话QA或者多轮对话系统中，意图分类的任务。由于意图识别在QA中起到至关重要的作用，为提高用户问话匹配的精确度，本发明提出的文本分类方法，以RNN和CNN网络模型结构为基础，通过加入attention机制，作为最后文本分类的特征向量提取网络，即以双向GRU结合CNN网络结构的方法提取文本特征，可以有效提高文本分类的准确率。

本发明提出了一种基于神经网络结构模型的文本分类方法，包括：

步骤一：搜集待分类的文本数据；

步骤二：处理文本数据，将文本数据中的语句以词向量表示；

步骤三：构建神经网络结构模型；所述神经网络结构模型的层数为三层，第一层为词注意层，第二层为句注意层，第三层为maxpooling层；

步骤四：基于所述神经网络结构模型，以RNN和CNN网络模型结构为基础，加入注意机制构建编码器；

步骤五：将以词向量表示的文本数据输入编码器，输出包含上下文信息的状态向量；

步骤六：根据状态向量使用分类器对文本数据进行分类，获得分类结果。

本发明提出的所述基于神经网络结构模型的文本分类方法中，文本数据输入所述编码器时，在词注意层中：