[发明专利]文本的聚类方法、文本的聚类装置和文本聚类系统

权利要求书

1.一种文本的聚类方法，其特征在于，包括：

获取多个原始文本，对各所述原始文本进行预处理，得到多个目标文本，其中，所述预处理包括以下至少之一：分词处理、去停用词处理，所述目标文本中包括多个词语；

采用Word2vec模型将各所述目标文本中的所述词语转换为词向量，采用TF-IDF算法确定所述词语的权重值，其中，所述权重值为所述词语在所述目标文本中的重要程度；

将所述词向量和所述权重值作为WMD算法的输入，确定任意两个所述目标文本之间的相似度，并根据所述相似度对所述目标文本进行聚类。

2.根据权利要求1所述的方法，其特征在于，采用Word2vec模型将各所述目标文本中的所述词语转换为词向量，采用TF-IDF算法确定所述词语的权重值，包括：

构建Word2vec模型，其中，所述Word2vec模型是使用多组训练数据训练得到的，所述多组训练数据中的每一组训练数据均包括：历史词语以及所述历史词语对应的历史词向量，不同组的所述训练数据为不同历史时间段内获取的；

将所述词语输入至所述Word2vec模型中，得到所述Word2vec模型的输出为所述词语对应的所述词向量；

获取所述词语在所述目标文本中出现的词频和逆文档频率，所述逆文档频率用于表征所述词语的重要性；

采用TF-IDF算法，根据所述词频和所述逆文档频率确定所述词语的所述权重值，其中，所述词频和所述逆文档频率乘积越小，所述词语的所述权重值越小，重要性程度越低，所述词频和所述逆文档频率乘积越大，所述词语的所述权重值越大，重要性程度越高。

3.根据权利要求1所述的方法，其特征在于，采用TF-IDF算法确定所述词语的权重值，还包括：

根据目标公式：

确定所述词语的所述权重值，其中，f表示所述词语，m表示所述目标文本，W(f,m)表示所述词语f在所述目标文本m中的所述权重值，TF(f,m)表示所述词语f在所述目标文本m中出现的次数，N表示所述目标文本的总个数，n_i表示含有所述词语f的所述目标文本m的个数。

4.根据权利要求1所述的方法，其特征在于，将所述词向量和所述权重值作为WMD算法的输入，确定任意两个所述目标文本之间的相似度，包括：

根据第一目标文本中的多个第一词向量以及各个所述第一词向量对应的第一TF-IDF值，将所述第一目标文本进行TF-IDFWord2vec向量化表示，得到第一目标集合，其中，所述第一目标集合中包括多个第一目标词向量和权重值，所述第一词向量和所述第一TF-IDF值作为所述WMD算法的输入；

根据第二目标文本中的多个第二词向量以及各个所述第二词向量对应的第二TF-IDF值，将所述第二目标文本进行TF-IDFWord2vec向量化表示，得到第二目标集合，其中，所述第二目标集合中包括多个第二目标词向量和权重值，所述第二词向量和所述第二TF-IDF值作为所述WMD算法的输入；

使用WMD算法计算所述第一目标文本和第二目标文本的相似度过程中，计算所述第一目标词向量与所述第二目标词向量之间的余弦距离作为转移代价，使用TF-IDF值进行权重分配，使用转移代价和分配权重的乘积和的最小值作为所述第一目标文本和所述第二目标文本的距离，所述距离为所述第一目标文本和所述第二目标文本的距离的相似度。