[发明专利]一种文本数据的聚类方法、装置和系统

说明书

本发明的实施例提供了一种文本数据的聚类方法、装置和系统。其中，所述方法包括：子节点接收主节点针对海量文本数据进行拆分得到的待聚类的文本子集合；所述子节点将所述文本子集合中的每个文本分别与所有子节点的文本子集合中的每个文本进行文本相似度的比对，得到文本对的相似关系集合；所述子节点将所述相似关系集合发送至所述主节点，以使得所述主节点根据所有子节点发送的所述相似关系集合对所述海量文本数据进行聚类，得到所述海量文本数据的聚类结果。本发明通过引入spark分布式框架，对海量文本数据进行分布式聚类，从而获得对海量文本数据进行聚类的能力。

技术领域

本发明涉及计算机领域，具体地，涉及一种文本数据的聚类方法、装置和系统。

背景技术

Spark分布式框架是UC Berkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的通用分布式框架，是一种与Hadoop相似的开源集群计算环境，相比较于hadoop使用硬盘存储中间数据，Spark分布式框架启用了内存分布数据集，除了能够提供交互式查询外，还可以优化迭代工作负载。

目前常用的对文本进行划分的方法是聚类方法，例如K-MEANS算法，由于K-MEANS算法中种子节点的选取具有随机性，所以对相同的文本数据分别进行数次聚类，每次聚类的结果不一定一致，因此K-MEANS算法针对文本数据的聚类结果具有随机性和不可控性。此外，K-MEANS算法对海量文本数据进行聚类的效果不是很理想。

发明内容

本发明的实施例提供一种文本数据的聚类方法、装置和系统，以有效解决如何对海量文本数据进行聚类的问题。

为达到上述目的，本发明的实施例提供一种文本数据的聚类方法。所述方法包括：子节点接收主节点针对海量文本数据进行拆分得到的待聚类的文本子集合；所述子节点将所述文本子集合中的每个文本分别与所有子节点的文本子集合中的每个文本进行文本相似度的比对，得到文本对的相似关系集合；所述子节点将所述相似关系集合发送至所述主节点，以使得所述主节点根据所有子节点发送的所述相似关系集合对所述海量文本数据进行聚类，得到所述海量文本数据的聚类结果。

可选地，所述子节点将所述文本子集合中的每个文本分别与所有子节点的文本子集合中的每个文本进行文本相似度的比对，得到文本对的相似关系集合，包括：针对所述待聚类的文本子集合中的每个文本，所述子节点分别向所有子节点发送文本相似度的比对请求，以使得每个子节点将所述比对请求中包含的比对文本分别与自身的文本子集合中的每个文本进行比对。

可选地，所述每个子节点将所述比对请求中包含的比对文本分别与自身的文本子集合中的每个文本进行比对，包括：所述每个子节点对所述比对文本进行处理，得到与所述比对文本对应的第一句子集合；所述每个子节点对自身的文本子集合中的每个文本进行处理，得到与所述每个文本对应的第二句子集合；所述每个子节点将所述第一句子集合中的每个句子分别所述第二句子集合中的每个句子进行比对，得到每对句子具有相同词语的个数；所述每个子节点根据每对句子具有相同词语的个数确定得到所述比对文本与所述第二句子集合对应的文本具有相同词语的个数最多的结果；所述每个子节点根据所述结果确定相同词语的个数在两个文本中所占的比例，从而得到两个文本的文本相似度。

可选地，在得到两个文本的文本相似度之后，所述方法还包括：所述每个子节点将所述两个文本的文本相似度与预设阈值进行比较，得到比较结果；所述每个子节点在根据所述比较结果判断所述两个文本的文本相似度大于所述预设阈值时，向发送所述比对请求的子节点返回相似的文本对。

可选地，所述每个子节点对所述比对文本进行处理，得到与所述比对文本对应的第一句子集合，包括：所述每个子节点对所述比对文本进行分句，得到分句后的比对文本；所述每个子节点对分句后的比对文本中的每个句子进行分词，得到所述比对文本对应的第一句子集合。