[发明专利]基于Spark的多特征结合中文文本高效聚类方法

权利要求书

1.一种基于Spark的多特征结合中文文本高效聚类方法，其特征在于，包括以下步骤：

步骤1，在物理服务器上搭建Spark平台以及HDFS文件系统；

步骤2，将原始文本数据集上传到HDFS文件系统中，利用ICTCLAS汉语分词系统和Hadoop并行计算平台将原始文本数据集进行并行分词处理，并重新上传至HDFS文件系统中；

步骤3，Spark平台从HDFS文件系统中读入分好词后的数据集，将其转化为弹性分布式数据集RDD，并根据用户程序中设定的RDD中分区的数目来启动一定数目的并发线程读取数据，并将其存储在系统内存中；

步骤4，按照RDD中分区之间的相互依赖关系，Spark作业调度系统将写好的应用程序拆分为不同的任务组，然后并行运行各个任务组中的任务；

步骤5，对读取到的数据进行预处理，将步骤3中缓存在RDD中的数据转化为纯文本的形式，过滤掉停用词；

步骤6，对预处理后的文本进行降维处理，挑选出对文本表示贡献最大的词项；

步骤7，将步骤6中得到的数据利用文本深度表示模型Word2Vec计算出每个词项的词向量，得到文本的语义相似度；计算文本语义相似度的具体过程为：

对于步骤6中降维处理后得到的每篇文本中的词项，利用文本深度表示模型Word2Vec得到每个词项的词向量，进而计算词项与词项之间的语义相似度；得到词项之间的语义相似度之后，计算关键词项集合的语义相似度，具体计算公式由式(1)给出：

在关键词项集合的语义相似度之后，用关键词项集合的语义相似度来表示文本之间的语义相似度，其中sim(w_1k,w_2l)表示两个关键词项w_1k,w_2l之间的语义相似度，m是第一篇文本的关键词项数，n是第二篇文本的关键词项数，V₁,V₂表示任意两篇文本的关键词项集合，其定义由式(2)给出：

步骤8，将步骤6中得到的数据按照TF-IDF计算公式重新计算每个词项在各自文本中所占的权重，然后将每篇文本的词项的TF-IDF权重按词项顺序组合成一个向量来表示文本，计算得到所有向量之间的余弦相似度，以此来表示文本之间的余弦相似度Cosim(V₁,V₂)；

步骤9，将步骤7得到的文本语义相似度与步骤8得到的文本余弦相似度进行结合，计算得到最终的文本相似度；计算最终文本相似度的具体过程由式(3)给出：

Textsim(V₁,V₂)＝wf*Vecsim(V₁,V₂)+(1-wf)*Cosim(V₁,V₂) (3)

其中wf为语义加权因子，具体的计算过程由式(4)给出：

其中，TFIDF(w_1k)表示关键词w_1k在对应文本中的TF-IDF权值；式(4)中的集合Λ₁和Λ₂的定义由式(5)给出：

其中，μ为用户设定的相似度阈值；

步骤10，利用最大距离法对文本进行聚类，计算得到最终的聚类结果。

2.根据权利要求1所述的基于Spark的多特征结合中文文本高效聚类方法，其特征在于，步骤5中对所述RDD数据进行预处理的具体过程为：

Spark平台的各个工作节点从字符串类型的RDD中读取数据进行操作，首先对读取到的数据进行筛选，从中筛选出名词、动词以及形容词；其次，将所有的人名、地名以及机构名进行统一的替换；最后按照停用词字典进行Filter过滤操作，过滤掉停用词。

3.根据权利要求1所述的基于Spark的多特征结合中文文本高效聚类方法，其特征在于，步骤6中对文本进行降维处理的具体过程为：

对步骤5中得到的数据进行TF-IDF权重计算，将每篇文本中的词项按照权重的大小进行排序，采用选择关键词项的方法对文本进行降维处理，选择每篇文本的前60％的词项来表示该篇文本，作为该篇文本的关键词项。