[发明专利]基于深度学习的文本分类系统及方法

说明书

本发明公开了基于深度学习的文本分类系统及方法，包括文本源获取模块、文本源输入模块、规范化处理模块、文本预处理模块、训练文本模块、测试文本模块、特征提取降维单元、特征权重计算单元、训练文本特征权重计算、训练文本特征向量、测试文本特征权重计算、测试文本特征向量和分类模块，其特征在于：所述文本预处理模块包括新词添加单元、分词单元、无用词清除单元和全文索引建立单元，所述分类模块包括分类判定单元和分类器，本发明通过基于深度学习的文本分类系统和方法，实现了对高维文本数据的降维作用，且通过对文本进行分词，并对无用词进行清除，能够提取更加准确的特征，提高了分类的精准度。

技术领域

本发明涉及文本分类技术领域，具体是基于深度学习的文本分类系统及方法。

背景技术

随着网络技术的快速发展，海量的信息资源以文本的形式存在。人们迫切的希望能从爆炸式的信息浪潮中快速有效的找到自己感兴趣的内容。文本分类作为信息处理的重要研究方向，是解决文本信息发现的常用方法，深度学习，是一种无监督的特征学习和特征层次结构学习方法，无监督学习方法一般是通过重构原始输入数据来实现特征提取的特征学习方法，近几年来在机器学习领域比较热门，其本质是通过使用大量的训练数据以及构建出含多个隐藏层的网络结构模型，从而去学习更加抽象的高级特征。

为了能够将深度学习中的神经网络算法应用到文本分类当中，首先要做的事就是将文本表示成计算机容易处理的形式，然而，针对海量数据，特征高维性给文本分类带来诸多问题，无法满足人们对获取有用知识的需求，现有的处理方式存在一定的不足，为此，我们提出基于深度学习的文本分类系统及方法对现有技术进行完善。

发明内容

本发明的目的在于提供基于深度学习的文本分类系统及方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

基于深度学习的文本分类系统，包括文本源获取模块、文本源输入模块、规范化处理模块、文本预处理模块、训练文本模块、测试文本模块、特征提取降维单元、特征权重计算单元、训练文本特征权重计算、训练文本特征向量、测试文本特征权重计算、测试文本特征向量和分类模块，所述文本预处理模块包括新词添加单元、分词单元、无用词清除单元和全文索引建立单元，所述分类模块包括分类判定单元和分类器。

作为本发明进一步的方案：所述文本源获取模块用于对文本初始源件进行获取，所述文本源输入模块用于将输入初始源文本，所述规范化处理模块用于将源文件进行整合成符合规范的文本，所述文本预处理模块通过新词添加单元用于进行新特征词的添加，所述分词单元用于进行分词并将分词后的文本集合特征分类至训练文本模块和测试文本模块中，所述无用词清除单元用于对无用和停用的词进行清除，所述全文索引建立单元对训练文本集合和测试文本集合建立全文索引，所述训练文本模块用于获得训练文本集合，所述测试文本模块用于获得测试文本集合，所述特征提取降维单元利用特征提取方法进行特征降维，所述特征权重计算单元用于对训练集合和测试集合中的文本进行特征加权，所述分类模块用于对测试集中的文本进行分类，所述分类器通过运行相应的分类算法对训练集合和测试集合中的文本进行分类，所述分类判定单元用于对分类结果和分类性能进行判定。

基于深度学习的文本分类方法，其方法步骤如下：

S1：文本源的获取、输入和规范化处理；

S2：文本预处理；

S3：特征降维及文本特征向量中的特征项集合；

S4：训练集合和测试集合中的文本进行特征加权；

S5：对训练集合和测试集合中文本进行分类处理。

作为本发明再进一步的方案：所述S1中，通过文本源获取模块获取源文本，并通过文本源输入模块将最初的源文本传输至规范化处理模块中，通过规范化处理模块将接收到的最初源文本进行处理，使其符合模型的文本处理形式。