[发明专利]多层文本聚类方法、系统、设备及存储介质

权利要求书

1.一种多层文本聚类方法，所述方法包括：

获取具有一级属性的一级文本和具有二级属性的二级文本，其中，所述一级属性包括所述二级属性，所述二级文本包括多个三级文本；

对所述二级文本中的所述三级文本进行分词处理，得到目标词语和三级词频数值，所述目标词语与所述三级词频数值相对应；

根据所述目标词语对所述一级文本进行字词统计处理，得到一级逆文本频率IDF分值字典，并根据所述目标词语对所述二级文本进行字词统计处理，得到二级IDF分值字典；

对于每个所述目标词语，根据所述一级IDF分值字典和所述二级IDF分值字典，得到三级词语层次IDF分数；

根据所述三级词语层次IDF分数和所述三级词频数值，得到多个层次词频-逆文本频率TFIDF数值；

根据多个所述层次TFIDF数值对所述三级文本进行聚类处理，得到聚类结果。

2.根据权利要求1所述的多层文本聚类方法，其特征在于，所述对所述二级文本中的所述三级文本进行分词处理，得到目标词语和三级词频数值，包括：

对所述三级文本进行分词处理，得到多个目标词语；

对于每个所述目标词语，根据所述三级文本，对所述目标词语进行统计处理，得到词语出现次数；

根据所有所述词语出现次数和预设上限截断值，得到三级词频数值。

3.根据权利要求2所述的多层文本聚类方法，其特征在于，所述预设上限截断值包括截断系数、修正系数、第一补偿值和第二补偿值；

所述根据所有所述词语出现次数和预设上限截断值，得到三级词频数值，包括：

对于每个所述目标词语，根据所述截断系数和所述第一补偿值，对所述词语出现次数进行处理，得到第一词频数值；

根据所述修正系数和所述第二补偿值，对所有所述词语出现次数之和进行处理，得到第二词频数值；

根据各个所述第一词频数值与所述第二词频数值的比值得到多个三级词频数值。

4.根据权利要求1所述的多层文本聚类方法，其特征在于，所述对于每个所述目标词语，根据所述一级IDF分值字典和所述二级IDF分值字典，得到三级词语层次IDF分数，包括：

根据所述一级文本、所述二级文本和所述三级文本之间的交叉关系，得到层次权重值；

根据所述层次权重值和各个所述目标词语，对所述一级IDF分值字典进行处理，得到多个一级层次分数；

根据所述层次权重值和各个所述目标词语，对所述二级IDF分值字典进行处理，得到多个二级层次分数；

对于每个所述目标词语，对所述一级层次分数与所述二级层次分数进行处理，得到三级词语IDF分数。

5.根据权利要求4所述的多层文本聚类方法，其特征在于，所述一级文本包括多个，所述二级文本包括多个；

所述根据所述一级文本、所述二级文本和所述三级文本之间的交叉关系，得到层次权重值，包括：

根据所述三级文本与所述一级文本之间的交叉关系，对所述一级文本的数量进行统计，得到第一文本数量；

根据所述三级文本与所述二级文本之间的交叉关系，对所述二级文本的数量进行统计，得到第二文本数量；

根据所述第一文本数量和所述第二文本数量之比得到层次权重值。

6.根据权利要求1所述的多层文本聚类方法，其特征在于，所述根据所述三级词语层次IDF分数和所述三级词频数值，得到多个层次词频-逆文本频率TFIDF数值，包括：

根据所述三级词频数值与所述三级词语层次IDF分数之间的比值，计算得到多个层次TFIDF数值。

7.根据权利要求1所述的多层文本聚类方法，其特征在于，所述根据所述层次TFIDF数值进行聚类处理，得到聚类结果，包括：

将所述层次TFIDF数值导入相似哈希神经模型进行处理，得到多个文本表征向量，所述文本表征向量与所述三级文本相对应；

根据任意两个所述文本表征向量之间的距离，对所述三级文本进行聚类，得到聚类结果。