[发明专利]一种新话题的自动挖掘方法和系统

权利要求书

1.一种新话题的自动挖掘方法，所述方法包括：

获取历史文本数据，确定所述历史文本数据中历史文本之间的第一语义距离；

基于所述第一语义距离确定至少一个第一簇；

确定所述至少一个第一簇中每个簇的第一话题，所述第一话题反映第一簇的中心内容；

获取包含历史文本和新增文本的文本合集数据，确定所述文本合集数据中文本之间的第二语义距离；

基于所述第二语义距离确定至少一个第二簇；

确定所述至少一个第二簇中每个簇的第二话题，所述第二话题反映第二簇的中心内容；

当所述第二话题与任意一个第一话题的第三语义距离均大于预设距离阈值时，确定所述第二话题为新话题。

2.根据权利要求1所述的新话题的自动挖掘方法，所述第一语义距离和所述第二语义距离均为余弦距离。

3.根据权利要求1所述的新话题的自动挖掘方法，所述第一语义距离的确定方法包括：

对所述历史文本数据进行预处理；

利用BERT神经网络对预处理后的历史文本数据进行编码；

基于编码后的历史文本数据，确定所述历史文本数据中历史文本之间的第一语义距离。

4.根据权利要求1所述的新话题的自动挖掘方法，所述第二语义距离的确定方法包括：

对所述文本合集数据进行预处理；

利用BERT神经网络对预处理后的文本合集数据进行编码；

基于编码后的文本合集数据，确定所述文本合集数据中文本之间的第二语义距离。

5.根据权利要求4所述的新话题的自动挖掘方法，所述预处理包括清洗文本数据中的噪声数据，所述噪声数据至少包括广告数据、色情数据、语句不通顺数据和/或重复数据。

6.根据权利要求1所述的新话题的自动挖掘方法，所述基于所述第一语义距离确定至少一个第一簇包括：基于所述第一语义距离利用HDBSCAN聚类算法确定至少一个第一簇。

7.根据权利要求1所述的新话题的自动挖掘方法，所述基于所述第二语义距离确定至少一个第二簇包括：基于所述第二语义距离利用HDBSCAN聚类算法确定至少一个第二簇。

8.根据权利要求1所述的新话题的自动挖掘方法，所述第一话题或所述第二话题的确定方法包括：

对于每个簇，确定所述簇中每个子集为所述簇的中心的概率值；

确定所述概率值最大的子集为所述簇的聚类中心；

基于所述聚类中心确定对应簇的第一话题或第二话题。

9.根据权利要求1所述的新话题的自动挖掘方法，还包括：

当所述至少一个第二簇中第二话题与至少一个第一簇中任意一个第一话题的第三语义距离均小于或等于预设距离阈值时，确定所述第二话题为老话题，所述老话题包括本次新话题自动挖掘之前确定的新话题。

10.一种新话题的自动挖掘系统，所述系统包括：

获取模块，所述获取模块被配置为获取历史文本数据以及包含历史文本和新增文本的文本合集数据；

数据处理模块，所述数据处理模块被配置为确定所述历史文本数据中历史文本之间的第一语义距离，以及确定所述文本合集数据中文本之间的第二语义距离；

聚类模块，所述聚类模块被配置为基于所述第一语义距离确定至少一个第一簇，与基于所述第二语义距离确定至少一个第二簇；

提取模块，所述提取模块被配置为确定所述至少一个第一簇中每个簇的第一话题，所述第一话题反映第一簇的中心内容；以及确定所述至少一个第二簇中每个簇的第二话题，所述第二话题反映第二簇的中心内容；

话题确定模块，所述话题确定模块被配置为当所述第二话题与任意一个第一话题的第三语义距离均大于预设距离阈值时，确定所述第二话题为新话题。

11.根据权利要求10所述的新话题的自动挖掘系统，所述第一语义距离和所述第二语义距离均为余弦距离。