[发明专利]一种基于临界值数据划分的并行KNN文本分类方法

说明书

本发明属于数据处理技术领域，公开了一种基于临界值数据划分的并行KNN文本分类方法，包括：训练集文本重定义，经过预处理后，训练集中的文本就会被处理成统一的格式，将通过词条将文本中的信息处理成键值对的形式；确定新文本的向量，使用TF‑IDF方式处理新的文本；确定K个文本；文本的权重计算；比较类的权重值的大小，根据词条的权重将词条分到对应的中心点的集合中。本发明只需要和中心点集合中的数据进行相似度求解，然后进行分类减少分类时间开销；另外在对文本间的相似度计算的余弦定理上进行了改进，利用MapReduce的分布式编程优势处理文本相似度计算后的键值对，从而提高文本分类的效率。

技术领域

本发明属于数据处理技术领域，尤其涉及一种基于临界值数据划分的并行KNN文本分类方法。

背景技术

近年来，随着互联网技术的迅速发展，在互联网上产生了大量数据，对于海量数据的处理成为了一个严峻的问题。这些数据一般以文本形式表现，而且数据量大，结构分散，如何挖掘人们感兴趣的信息成为了关键。在众多的分类算法中，KNN由于其实现简单、分类结果准确且稳定性高等特性成为当下使用最为广泛的分类算法之一。然而当训练集样本数据过大或特征词过多时，KNN算法的计算效率急剧下降。首先，海量数据使得文本相似度的计算量大幅增长。其次，文本数据过多，也使得文本分类的效率大大降低。

综上所述，现有技术存在的问题是：目前的分类算法在处理海量数据时存在文本数据过多，计算量大幅增长，文本分类效率大大降低的问题。在大数据时代，大规模分布式的数据存储已成为了大数据的实际存储模式，单纯的串行化分类改进技术已不能满足大数据的计算性能要求，如何实现高效的并行化分类算法是当前亟待解决的关键问题之一。同时，如何将大规模数据集合理的分布到多个数据节点上，从而提高并行分类算法的计算效率是实现并行化分类算法的重点。

发明内容

针对现有技术存在的问题，本发明提供了一种基于临界值数据划分的并行KNN文本分类方法。

本发明是这样实现的，一种基于临界值数据划分的并行KNN(K-nearestNeighbor)文本分类方法，所述基于临界值数据划分的并行KNN文本分类方法包括以下步骤：

步骤一，经过预处理后，训练集中的文本就会被处理成统一的格式，即通过词条将文本中的信息处理成键值对的形式。为了反映词条的特征信息，采用TF-IDF算法计算词条的权值，处理过程分为TF(Term Frequency)和IDF(Inverse Document Frequency)两部分：TF定义为文本中词条出现的频数；IDF定义为反向文本概率，是衡量词条分布的一个重要特性。其中TF的计算公式为：

tf_i,j＝n_i,j/∑_kn_k,j

式中，n_i,j表示文本j中词条i的出现次数，∑_kn_k,j表示文本j中所有词条的统计总数。

词条的IDF计算方法为：

idf_i,j＝log(|D|/|{j:t_i∈d_j}|)

式中，|D|表示样本数据集中所有文本总数；|{j:t_i∈d_j}|表示包含词条t_i的文本数目(即n_i,j≠0的文本数目)，若分母为零，表示该词条不在数据集中，此时使用1+|{j:t_i∈d_j}|来代替分母；

得到词条权重的计算公式如下：

tfidf_i,j＝tf_i,j×idf_i,j