[发明专利]文本聚类方法、设备及存储介质

说明书

本申请实施例提供一种文本聚类方法、设备及存储介质，通过对待处理的文本集包括的所有文本进行处理，得到该文本集对应的文本向量矩阵，再根据该文本向量矩阵，计算文本集对应的文本相似度矩阵，最后基于该文本相似度矩阵，对该文本集中的所有文本进行聚类分析，得到文本聚类结果。该技术方案中，利用文本之间的相似度对文本进行分类，实现了利用较少的代价获得一个无监督、高精度的聚类结果，降低文本聚类的计算复杂度，能够进行批量计算聚类，噪声文本对整体模型影响较小，提高了聚类结果的准确度。

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种文本聚类方法、设备及存储介质。

背景技术

自然语言处理中，文本语义聚类应用场景需求巨大，例如，文本分类，对话机器人，情感分析等。文本聚类作为自然语言处理的中间过程，其分析的准确程度直接决定自然语言相关模型计算准确程度。因此，如何实现文本聚类的快速、准确、批量的分析具有很大的意义。

现有技术中，常用的文本聚类方法有k均值聚类算法(k-means clusteringalgorithm)。具体的聚类过程如下，对于给定的文本集，首先确定一个k值，即经过聚类期望得到的聚类集合数量；其次从文本集中随机选择k个文本作为质心；再对文本集中每一个文本，计算其与每一个质心的距离(如欧式距离)，离哪个质心近，就划分到那个质心所属的集合，得到k个聚类集合，最后重新计算每个集合的质心，如果新计算出来的质心和原来的质心之间的距离小于设置的阈值则认为聚类结束，得到聚类结果。该方法原理简单，实现容易，收敛速度快。

然而，在实现该聚类方法的过程中，发明人发现在很多情况下上述K值无法事先确定，且得到的聚类结果的准确性受初始选取的质心、噪音和异常点的影响比较大，可能存在聚类结果不准确的问题。

发明内容

本申请实施例提供一种文本聚类方法、设备及存储介质，用以解决现有文本聚类方法存在的聚类结果不准确的问题。

第一方面，本申请实施例提供一种文本聚类方法，包括：

对待处理的文本集包括的所有文本进行处理，得到所述文本集对应的文本向量矩阵，所述文本向量矩阵的行数与所述文本集包括的文本条数相同，所述文本向量矩阵的行向量是每条文本的向量表示；

根据所述文本向量矩阵，计算所述文本集对应的文本相似度矩阵，所述文本相似度矩阵的每个元素值为两个所述文本向量矩阵对应位置的行向量之间的相似度值；

基于所述文本相似度矩阵，对所述文本集中的所有文本进行聚类分析，得到文本聚类结果。

在本实施例中，通过确定文本集对应的文本向量矩阵、文本相似度矩阵，进而通过聚类分析得到文本聚类结果，实现了利用较少的代价获得一个无监督、高精度的聚类结果，降低文本聚类的计算复杂度，提高了聚类结果的准确度。

在第一方面的一种可能设计中，所述对待处理的文本集包括的所有文本进行处理，得到所述文本集对应的文本向量矩阵，包括：

基于预设的分词规则，对所述文本集中的每条文本进行分词处理，得到每个文本词语集合，每个文本词语集合包括至少一个词语；

根据所有文本词语集合包括的词语，得到所述文本集对应的词典，所述词典中的每个词语具有唯一的标识；

将每个文本词语集合包括的词语与所述词典之间的映射关系，得到每个行文本向量；

根据所有的行文本向量，得到所述文本集对应的文本向量矩阵。

在本实施例中，通过根据预设的分词规则对每条文本进行分词后，结合所有的文本得到文本集对应的词典，进而得到文本向量矩阵，能够很好的识别低密度的文本聚类，提高了文本识别的精度。

可选的，所述根据所有文本词语集合包括的词语，得到所述文本集对应的词典，包括：