[发明专利]基于Spark的多特征结合中文文本高效聚类方法

摘要

本发明公开了一种基于Spark的多特征结合中文文本高效聚类方法，该方法利用HDFS文件系统的高容错性、高数据访问吞吐量，将大量的数据集上传到HDFS文件系统中，然后进行数据预处理，通过客户端提交到Spark集群；完成文本集预处理后，将降维后的文本分别计算语义相似度和基于词频统计的余弦相似度，然后将两种相似度进行结合，得到最终的文本相似度，利用得到的文本相似度，并结合最大距离法，进行文本聚类。本发明将语义信息和词频统计信息结合在一起，使得文本相似度的计算更加准确，同时极大减少了迭代的次数。

主权项

一种基于Spark的多特征结合中文文本高效聚类方法，其特征在于，包括以下步骤：步骤1，在物理服务器上搭建Spark平台以及HDFS文件系统；步骤2，将原始文本数据集上传到HDFS文件系统中，利用ICTCLAS汉语分词系统和Hadoop并行计算平台将原始文本数据集进行并行分词处理，并重新上传至HDFS文件系统中；步骤3，Spark平台从HDFS文件系统中读入分好词后的数据集，将其转化为弹性分布式数据集RDD，并根据用户程序中设定的RDD中分区的数目来启动一定数目的并发线程读取数据，并将其存储在系统内存中；步骤4，按照RDD中分区之间的相互依赖关系，Spark作业调度系统将写好的应用程序拆分为不同的任务组，然后并行运行各个任务组中的任务；步骤5，对读取到的数据进行预处理，将步骤3中缓存在RDD中的数据转化为纯文本的形式，过滤掉停用词；步骤6，对预处理后的文本进行降维处理，挑选出对文本表示贡献最大的词项；步骤7，将步骤6中得到的数据利用文本深度表示模型Word2Vec计算出每个词项的词向量，得到文本的语义相似度；步骤8，将步骤6中得到的数据按照TF‑IDF计算公式重新计算每个词项在各自文本中所占的权重，然后将每篇文本的词项的TF‑IDF权重按词项顺序组合成一个向量来表示文本，计算得到所有向量之间的余弦相似度，以此来表示文本之间的余弦相似度；步骤9，将步骤7得到的文本语义相似度与步骤8得到的文本余弦相似度进行结合，计算得到最终的文本相似度；步骤10，利用最大距离法对文本进行聚类，计算得到最终的聚类结果。