[发明专利]一种基于图张量卷积的中文文本分拣系统

说明书

本发明公开了一种基于图张量卷积的中文文本分拣系统，该系统采用中文文本作为输入，利用文本预处理模块对其进行数据清洗，基于中文文本数据库建立一个图张量卷积模型用以对中文文本进行分类，图张量卷积模型包括图内卷积和图间卷积，利用建立的图张量卷积模型对新输入的中文文本进行分类，并输出分类结果。本发明可以实现非结构化的中文文本，具有高准确率、高智能化等特点，解决了目前中文文本分拣系统只能处理结构化中文文本、分拣准确率低等缺点。

技术领域

本发明涉及中文文本分拣领域，特别地，涉及基于图张量卷积的中文文本分拣系统。

背景技术

如何快速精准地从大量文本中获取有用信息一直是国内外学者研究的热点问题。文本作为最基础、最常见的电子数据形式，广泛存在于互联网中。合理地对文本文档实现分类，准确地在海量电子文本数据之中获取目标数据，是目前急需解决的问题与挑战。

为提高中文文本分析的质量和速度，高效率的文本自动识别分拣成为其先决条件，因此，快速而准确的文本自动识别与分拣分类技术，成为文本分析工作研究的核心内容。近年来，随着深度学习的迅速发展，卷积神经网络、循环神经网络等深度学习模型被大量运用在自然语言处理领域，用以处理结构化的文本数据。然而中文文本可能会出现非结构化的文本信息，图神经网络可以把实际问题看作图中节点之间的连接和消息传播问题，对节点之间的依赖关系进行建模，从而能够很好的处理图结构数据。故发明一种高准确率、高智能化、可以处理非结构化文本信息的中文文本分拣系统具有重要意义。

发明内容

为了克服已有中文文本分拣方法只能处理结构化的文本数据，难以处理非结构化数据的不足，本发明提供一种高准确率、高智能化、可以处理非结构化文本信息的中文文本分拣系统。基于图张量卷积对中文文本进行自动分类，基于图张量卷积的中文文本分拣系统采用中文文本作为输入，利用文本预处理模块对其进行数据清洗，基于中文文本数据库建立一个图张量卷积模型用以对中文文本进行分类，利用建立的图张量卷积模型对新输入的中文文本进行分类，并输出分类结果。本发明可以实现非结构化的中文文本，具有高准确率、高智能化等优势。解决了目前中文文本分拣系统只能处理结构化中文文本、分拣准确率低等劣势。

本发明解决其技术问题所采用的技术方案是：

一种基于图张量卷积的中文文本分拣系统，包括中文文本获取模块、基于图张量卷积的中文文本分类系统、中文文本分类显示模块，各部位依次相连构成一个完整的系统。其中基于图张量卷积的中文文本分类系统包括中文文本数据库、文本预处理模块、中文文本建模模块、中文文本分类模块和分类结果输出模块。

进一步地，中文文本数据库用以存储现有的中文文本和文本对应的类别，中文文本建模模块基于中文文本数据库中的数据建模，并且能够实时更新该数据库，从而实时地更新中文文本分类模型。

进一步地，文本预处理模块用以清洗中文文本，再利用清洗后的中文文本构建三种异构图，三种异构图分别为基于语义的图、基于句法的图和基于序列的图，三种图的节点相同，但边不同，三种异构图构成图张量。通过构造三种图的方法能够有效提取中文文本中的语义、句法和序列的特征，对后续的分类准确率具有较大的提高，采用如下过程完成：

对中文文本进行分词，删除中文文本中的标点符号，删除无具体内容的介词、连词。得到清洗后的中文文本：

S＝{w₁,w₂,...,w_k,...,w_N} (1)

其中S表示清洗后的中文文本，w_k表示清洗后的中文文本中第k个词，N表示清洗后的中文文本中词的数量。

根据该分类任务训练长短期记忆网络，从训练得到的长短期记忆的输出中获得每个词w_i的语义特征嵌入