[发明专利]一种MapReduce并行化大数据文本分类方法

权利要求书

1.一种MapReduce并行化大数据文本分类方法，其特征在于：所述分类方法包括如下步骤：

第一步：建立用于文本分类的基准测试数据集，进行数据预处理，包括分词、去停用词、词根还原；

将该基准测试数据集随机划分为训练文本和测试文本，将所述基准测试数据集采用向量空间模型建立文本表示模型；

第二步：根据上述文本表示模型采用基于类间差异的特征选择方法CDMT对所述基准测试数据集进行特征选择；根据所述第二步中，采用训练数据集中所有特征词按CDMT方法计算后降序排列并提取出大于预设阈值的所有特征词的方法，来生成一个特征词汇表；

第三步：采用贝叶斯分类器对所述基准测试数据集进行训练学习，得到分类结果；

其中，所述第三步中，训练学习过程如下：

3.1)训练数据集和测试数据集文本向量化，求出每个文件中每个单词的词频TF后，读取含IDF值的特征词汇表，计算每个单词的TF×IDF值，并将计算结果保存；

3.2)贝叶斯分类器的处理过程：

3.2.1)对于测试数据集中的每一条记录，计算它属于训练数据集中每一个类别的概率值；

3.2.2)把测试记录归为K个值中权值最大的类。

2.如权利要求1所述的一种MapReduce并行化大数据文本分类方法，其特征在于：所述基准测试数据集为属于国际中文标准数据集的搜狗语料库，其按照各个已知类目进行分类，其中的60％做为训练集，40％做为测试集，不包括重复文本。