[发明专利]基于随机近邻嵌入的文本聚类方法

摘要

本发明公开了一种基于随机近邻嵌入的文本聚类方法，包括以下步骤：对文本集进行预处理，将文本集表示为标准化词‑文本共现矩阵；通过t‑分布随机近邻嵌入（t‑SNE）将高维文本数据嵌入到低维空间，使高维空间相似度较低的文本对应的低维嵌入点距离较远，相似度较高的文本对应的低维嵌入点距离较近；将多个低维嵌入点作为K均值算法的初始质心，并根据低维空间映射点坐标，采用K均值算法进行聚类。解决了因文本高维稀疏特性带来的维数灾难问题，降低了文本数据的维数，缩短了聚类算法的运行时间，提高了聚类算法的精度。

主权项

1.一种基于随机近邻嵌入的文本聚类方法，其特征在于，包括以下步骤：/nS01：对文本集进行预处理，将文本集表示为标准化词-文本共现矩阵；/nS02：通过t-分布随机近邻嵌入(t-SNE)将高维文本数据嵌入到低维空间，使高维空间相似度较低的文本对应的低维嵌入点距离较远，相似度较高的文本对应的低维嵌入点距离较近；/nS03：将多个低维嵌入点作为K均值算法的初始质心，并根据低维空间映射点坐标，采用K均值算法进行聚类；/n所述K均值算法初始质心的计算包括以下步骤：/n求出整个文本集X＝{x₁，x₂，...，x_n}的质心向量u₀：/n /n当1≤k≤K时，其中k为初始质心的个数，K为簇的个数，查找与u₀及前k-1个初始质心u₀，u₁，…，u_k-1距离之和最大的数据点x_i，将其作为第k个均值向量，设d(u₀,x_i)表示u₀与x_i的距离，则通过公式计算初始质心。/n