[发明专利]文本聚类方法及系统、电子设备和存储介质

说明书

本发明提供一种文本聚类方法及系统、电子设备和存储介质，方法包括：基于目标待聚类文本和聚类中心，确定所述目标待聚类文本和所述聚类中心的文本相似度；基于所述文本相似度，根据中国餐馆过程算法，确定所述目标待聚类文本的目标类别；基于所述目标类别对所述目标待聚类文本进行聚类，确定目标聚类结果。能够提升文本聚类的速度，提高文本聚类的实时性。

技术领域

本发明涉及数据分析技术领域，尤其涉及一种文本聚类方法及系统、电子设备和存储介质。

背景技术

随着网络信息飞速的发展，网络新闻通过各大网站媒体以及社交平台的传播，已经呈现爆炸式的增长趋势，收集并分析这些信息变得愈发困难。

网络新闻是一种具有多渠道，多方面，范围广和更新快等特点的动态数据流，由于来自各个渠道的新闻信息数量庞大，急需一种能在海量数据中把相关话题内容聚合到一起的技术，将条目众多的新闻数据聚集到有限的话题簇中，每个话题簇中包含相关话题的新闻信息，快速发现当前的热点新闻，让使用者能够实时关注网络新闻动态。

但现有的流式数据的增量聚类方法在处理大规模流式数据时存在一定的缺陷，面对突发的新闻事件聚类效果欠佳，并且随着数据量不断增加，当一个聚类当中包含较多的数据时，计算聚类的中心较为复杂，速度变慢。存在算法计算量大，聚类速度缓慢，无法达到实时聚类的要求的问题。

因此，如何提供一种文本聚类方法及系统、电子设备和存储介质，提升聚类的速度，提高文本聚类的实时性，成为亟待解决的问题。

发明内容

针对现有技术中的缺陷，本发明实施例提供一种文本聚类方法及系统、电子设备和存储介质，至少解决在进行文本聚类时聚类速度缓慢，实时性差的技术问题。

提供一种文本聚类方法，包括：

基于目标待聚类文本和聚类中心，确定所述目标待聚类文本和所述聚类中心的文本相似度；

基于所述文本相似度，根据中国餐馆过程算法，确定所述目标待聚类文本的目标类别；

基于所述目标类别对所述目标待聚类文本进行聚类，确定目标聚类结果。

根据本发明提供的一种文本聚类方法，所述基于目标待聚类文本和聚类中心，确定所述目标待聚类文本和所述聚类中心的文本相似度的步骤之前，还包括：

确定文本类别的文本数量，判断文本类别的文本数量是否小于预设第一文本数量阈值；

若确定存在第一文本类别的文本数量小于预设文本数量阈值，则将所述第一文本类别对应的第一聚类中心删除。

根据本发明提供的一种文本聚类方法，所述基于目标待聚类文本和聚类中心，确定所述目标待聚类文本和所述聚类中心的文本相似度的步骤之前，还包括：

确定所述第一文本类别的产生时间，判断所述第一文本类别是否满足预设时间条件；

若确定所述第一文本类别满足预设时间条件，则在确定第一文本类别的文本数量小于预设第一文本数量阈值时，将所述第一文本类别对应的第一聚类中心删除；

若确定所述第一文本类别不满足预设时间条件，则在确定第一文本类别的文本数量小于第二预设文本数量阈值时，将所述第一文本类别对应的第一聚类中心删除。

根据本发明提供的一种文本聚类方法，所述基于目标待聚类文本和聚类中心，确定所述目标待聚类文本和所述聚类中心的文本相似度，具体包括：

基于所述目标待聚类文本，确定所述目标待聚类文本的关键词；

将所述目标待聚类文本的关键词与所有聚类中心的关键词进行比较，确定目标聚类中心集合；其中，所述目标聚类中心集合包括目标聚类中心；所述目标聚类中心的关键词与所述目标待聚类文本的关键词存在重复；