[发明专利]多层文本聚类方法、系统、设备及存储介质

说明书

本发明涉及人工智能，提供了一种多层文本聚类方法,该方法包括：获取具有一级属性的一级文本和具有二级属性的二级文本，二级文本包括多个三级文本；对三级文本进行分词处理，得到目标词语和三级词频数值，目标词语与三级词频数值相对应；根据目标词语分别对一级文本和二级文本进行字词统计处理，得到一级IDF分值字典和二级IDF分值字典；对于每个目标词语，根据一级IDF分值字典和二级IDF分值字典，得到三级词语层次IDF分数；根据三级词语层次IDF分数和三级词频数值，得到多个层次TFIDF数值；根据多个层次TFIDF数值对三级文本进行聚类处理，得到聚类结果。本发明针对多层文本进行聚类，提高下层文本与上层文本的关联性，改善聚类效果。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种多层文本聚类方法、系统、设备及存储介质。

背景技术

目前，为了有助于读者挑选喜爱类型进行阅读，因此对文章的类型进行筛选划分，例如新闻报道、科学研究、军事咨询等等，由于网络的快速发展，每日出现在网络上的文章数量巨大，文章的类型也多种多样，相关技术中通过聚类对文章进行类型划分，针对多层文本的聚类效果差，即使是聚类将文章分为多个类型，但下层一个类型的文章繁多，所属类型范围大，下层文章与所属类型的关联性低，导致下层文章的内容分散，影响读者的阅读体验。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供了一种多层文本聚类方法、系统、设备及存储介质，能够针对多层文本进行聚类，提高下层文本与上层文本的关联性，改善聚类效果。

第一方面，本发明实施例提供了一种多层文本聚类方法，该方法包括：

获取具有一级属性的一级文本和具有二级属性的二级文本，其中，所述一级属性包括所述二级属性，所述二级文本包括多个三级文本；

对所述二级文本中的所述三级文本进行分词处理，得到目标词语和三级词频数值，所述目标词语与所述三级词频数值相对应；

根据所述目标词语对所述一级文本进行字词统计处理，得到一级逆文本频率IDF分值字典，并根据所述目标词语对所述二级文本进行字词统计处理，得到二级IDF分值字典；

对于每个所述目标词语，根据所述一级IDF分值字典和所述二级IDF分值字典，得到三级词语层次IDF分数；

根据所述三级词语层次IDF分数和所述三级词频数值，得到多个层次词频-逆文本频率TFIDF数值；

根据多个所述层次TFIDF数值对所述三级文本进行聚类处理，得到聚类结果。

根据本发明的一些实施例，在上述多层文本聚类方法中，所述对所述二级文本中的所述三级文本进行分词处理，得到目标词语和三级词频数值，包括：

对所述三级文本进行分词处理，得到多个目标词语；

对于每个所述目标词语，根据所述三级文本，对所述目标词语进行统计处理，得到词语出现次数；

根据所有所述词语出现次数和预设上限截断值，得到三级词频数值。

从三级文本中提取得出目标词语，并对目标词语进行统计处理，得到各个目标词语的词语出现次数。利用预设上限截断值对所有的词语出现次数进行上限截断处理，避免三级词频数值的上限过高，影响该目标词语的区分能力，降低聚类效果。

根据本发明的一些实施例，在上述多层文本聚类方法中，预设上限截断值包括截断系数、修正系数、第一补偿值和第二补偿值，所述根据所有所述词语出现次数和预设上限截断值，得到三级词频数值，包括：

对于每个所述目标词语，根据所述截断系数和所述第一补偿值，对所述词语出现次数进行处理，得到第一词频数值；