[发明专利]文本的聚类方法、文本的聚类装置和文本聚类系统

说明书

本申请提供了一种文本的聚类方法、文本的聚类装置和文本聚类系统。该方案中，利用Word2vec模型与TF‑IDF算法相结合的方式表示词向量，增强不同文本之间的区分，既利用了词向量的优点又加入了词语对文本的影响，两者结合表示的词向量作为WMD算法的输入，运用WMD算法作为文本聚类中相似度度量算法，提高文本聚类的准确性。

技术领域

本申请涉及文本聚类技术领域，具体而言，涉及一种文本的聚类方法、文本的聚类装置、计算机可读存储介质和文本聚类系统。

背景技术

随着信息传播速度的提高与网络空间的不断扩大，互联网信息量呈指数级快速增长，非结构化文本数据量不断增大。为有效利用文本数据中所蕴含的有价值的信息，通过聚类算法依据文本数据间的共性特征构建文本聚簇来完成后续的信息处理与分析，是提取有价值的信息重要的一环。使用常用的距离算法作为聚类过程中文本相似度的计算，聚类准确度较低。

发明内容

本申请的主要目的在于提供一种文本的聚类方法、文本的聚类装置、计算机可读存储介质和文本聚类系统，以至少解决现有技术中文本聚类的准确度较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种文本的聚类方法，包括：获取多个原始文本，对各所述原始文本进行预处理，得到多个目标文本，其中，所述预处理包括以下至少之一：分词处理、去停用词处理，所述目标文本中包括多个词语；采用Word2vec模型将各所述目标文本中的所述词语转换为词向量，采用TF-IDF算法确定所述词语的权重值，其中，所述权重值为所述词语在所述目标文本中的重要程度；将所述词向量和所述权重值作为WMD算法的输入，确定任意两个所述目标文本之间的相似度，并根据所述相似度对所述目标文本进行聚类。

可选地，采用Word2vec模型将各所述目标文本中的所述词语转换为词向量，采用TF-IDF算法确定所述词语的权重值，包括：构建Word2vec模型，其中，所述Word2vec模型是使用多组训练数据训练得到的，所述多组训练数据中的每一组训练数据均包括：历史词语以及所述历史词语对应的历史词向量，不同组的所述训练数据为不同历史时间段内获取的；将所述词语输入至所述Word2vec模型中，得到所述Word2vec模型的输出为所述词语对应的所述词向量；获取所述词语在所述目标文本中出现的词频和逆文档频率，所述逆文档频率用于表征所述词语的重要性；采用TF-IDF算法，根据所述词频和所述逆文档频率确定所述词语的所述权重值，其中，所述词频和所述逆文档频率乘积越小，所述词语的所述权重值越小，重要性程度越低，所述词频和所述逆文档频率乘积越大，所述词语的所述权重值越大，重要性程度越高。

可选地，采用TF-IDF算法确定所述词语的权重值，还包括：根据目标公式：

确定所述词语的所述权重值，其中，f表示所述词语，m表示所述目标文本，W(f,m)表示所述词语f在所述目标文本m中的所述权重值，TF(f,m)表示所述词语f在所述目标文本m中出现的次数，N表示所述目标文本的总个数，n_i表示含有所述词语f的所述目标文本m的个数。