[发明专利]基于深度学习的文本分类系统及方法

权利要求书

1.基于深度学习的文本分类系统，包括文本源获取模块、文本源输入模块、规范化处理模块、文本预处理模块、训练文本模块、测试文本模块、特征提取降维单元、特征权重计算单元、训练文本特征权重计算、训练文本特征向量、测试文本特征权重计算、测试文本特征向量和分类模块，其特征在于：所述文本预处理模块包括新词添加单元、分词单元、无用词清除单元和全文索引建立单元，所述分类模块包括分类判定单元和分类器。

2.根据权利要求1所述的基于深度学习的文本分类系统，其特征在于：所述文本源获取模块用于对文本初始源件进行获取，所述文本源输入模块用于将输入初始源文本，所述规范化处理模块用于将源文件进行整合成符合规范的文本，所述文本预处理模块通过新词添加单元用于进行新特征词的添加，所述分词单元用于进行分词并将分词后的文本集合特征分类至训练文本模块和测试文本模块中，所述无用词清除单元用于对无用和停用的词进行清除，所述全文索引建立单元对训练文本集合和测试文本集合建立全文索引，所述训练文本模块用于获得训练文本集合，所述测试文本模块用于获得测试文本集合，所述特征提取降维单元利用特征提取方法进行特征降维，所述特征权重计算单元用于对训练集合和测试集合中的文本进行特征加权，所述分类模块用于对测试集中的文本进行分类，所述分类器通过运行相应的分类算法对训练集合和测试集合中的文本进行分类，所述分类判定单元用于对分类结果和分类性能进行判定。

3.基于深度学习的文本分类方法，其特征在于：其方法步骤如下：

S1：文本源的获取、输入和规范化处理；

S2：文本预处理；

S3：特征降维及文本特征向量中的特征项集合；

S4：训练集合和测试集合中的文本进行特征加权；

S5：对训练集合和测试集合中文本进行分类处理。

4.根据权利要求3所述的基于深度学习的文本分类方法，其特征在于：所述S1中，通过文本源获取模块获取源文本，并通过文本源输入模块将最初的源文本传输至规范化处理模块中，通过规范化处理模块将接收到的最初源文本进行处理，使其符合模型的文本处理形式。

5.根据权利要求3所述的基于深度学习的文本分类系统，其特征在于：所述S2中，对文本进行预处理，对训练文本集合和测试文本集合分别建立全文索引，进而分别得到训练集合索引和测试集合索引，在建立索引过程中，利用分词单元对文本集合中的训练文本集合和测试文本集合进行分词，分别获得训练文本集合的原始特征词集合和测试文本集合的原始特征词集合，并分别对应传输至训练文本模块和测试文本模块。

6.根据权利要求3所述的基于深度学习的文本分类方法，其特征在于：所述S3中，通过特征提取降维单元利用特征提取方法进行特征降维，通过对索引的查询功能来对特征提取方法中的数据进行统计，代入计算后，按特征评价值的高低进行降序排列，选取出具有最好类别效果的特征，构成表示文本特征向量中的特征项集合。

7.根据权利要求3所述的基于深度学习的文本分类方法，其特征在于：所述S4中，通过对训练文本模块和测试文本模块中的训练集合和测试集合中的文本进行特征加权，并通过空间特征向量表示，通过训练文本特征向量和测试文本特征向量中的特征项为文本特征提取处理的特征项集合，对每个文本利用自定义对索引的查询功能，获得特征项对应该文本和相应类别中的分布情况统计。

8.根据权利要求3所述的基于深度学习的文本分类方法，其特征在于：所述S5中，通过分类器运行相应的分类算法来进行分类，将表示训练集合和测试集合中所有文本的空间特征向量作为输入数据，对训练集合和测试集合中的文本进行分类，完成分类后，且通过分类判定单元进行分类性能的评判。