[发明专利]一种基于临界值数据划分的并行KNN文本分类方法

摘要

本发明属于数据处理技术领域，公开了一种基于临界值数据划分的并行KNN文本分类方法，包括：训练集文本重定义，经过预处理后，训练集中的文本就会被处理成统一的格式，将通过词条将文本中的信息处理成键值对的形式；确定新文本的向量，使用TF‑IDF方式处理新的文本；确定K个文本；文本的权重计算；比较类的权重值的大小，根据词条的权重将词条分到对应的中心点的集合中。本发明只需要和中心点集合中的数据进行相似度求解，然后进行分类减少分类时间开销；另外在对文本间的相似度计算的余弦定理上进行了改进，利用MapReduce的分布式编程优势处理文本相似度计算后的键值对，从而提高文本分类的效率。

主权项

一种基于临界值数据划分的并行KNN文本分类方法，其特征在于，所述基于临界值数据划分的并行KNN文本分类方法包括以下步骤：步骤一，经过预处理后，训练集中的文本就会被处理成统一的格式，即通过词条将文本中的信息处理成键值对的形式。为了反映词条的特征信息，采用TF‑IDF算法计算词条的权值，处理过程分为TF和IDF两部分：TF定义为文本中词条出现的频数；IDF定义为反向文本概率，是衡量词条分布的一个重要特性。其中TF的计算公式为：tfi,j＝ni,j/∑knk,j式中，ni,j表示文本j中词条i的出现次数，∑knk,j表示文本j中所有词条的统计总数。词条的IDF计算方法为：idfi,j＝log(|D|/|{j:ti∈dj}|)式中，|D|表示样本数据集中所有文本总数；|{j:ti∈dj}|表示包含词条ti的文本数目(即ni,j≠0的文本数目)，若分母为零，表示该词条不在数据集中，此时使用1+|{j:ti∈dj}|来代替分母；得到词条权重的计算公式如下：tfidfi,j＝tfi,j×idfi,j特定文本中的高频率的词条就会产生高权重的TF‑IDF，从而对数据集中的词条进行筛选和过滤；步骤二，确定新文本的向量，使用TF‑IDF方式处理新的文本；步骤三，确定K个文本，基于临界值文本划分算法得到样本数据集中的中心点集合，将待分类文本与中心点集合进行相似度计算，并根据相似度将待分类文本划分到中心点集合的对应数据集中，选出集合中K个最近邻文本；使用余弦定理并行化处理和TF‑IDF，进行文本中的相似度计算：sim(di,dj)=cosθ=Σk=1nwk(di)×wk(dj)/(Σk=1nwk2di)×Σk=1nwk2dj)]]>步骤四，文本的权重计算公式为：P(x,c)=Σdi∈KNNsim(x,di)×y(di,c)]]>其中，x表示新特征词，sim(x,di)为上述相似度求解公式，而y(di,c)公式表示类别属性函数，即若dj属于C类true为1，false为0；步骤五，比较类的权重值的大小，根据词条的权重将词条分到对应的中心点的集合中。