[发明专利]文本的主题聚类方法、装置、设备及存储介质

说明书

本申请适用于主题聚类技术领域，提供一种文本的主题聚类方法、装置、设备及存储介质：对主题聚类任务中的待聚类文本进行分词处理，获取表征待聚类文本的关键词；将属于同一待聚类文本的关键词进行连线生成词对，结合词对中两个关键词之间的相似度值以及含有词对的第一待聚类文本数量，计算出词对在主题聚类任务中的权重值；结合词对以及词对的权重值构建用于进行文本聚类分析的关键词图，并通过社区发现算法对关键词图进行图分割处理，生成表征聚类主题的主题子图；基于主题子图确定待聚类文本与聚类主题之间的关联度，根据关联度获取待聚类文本的主题。本申请还涉及数字医疗领域，用于提取医疗数据的主题信息。

技术领域

本申请涉及深度学习、自然语言处理、主题聚类技术领域，尤其涉及一种文本的主题聚类方法、装置、设备及存储介质。

背景技术

随着互联网的快速发展，网络上的信息量与日俱增，对于文本型信息的获取，如何进行精准检索逐渐成为研究的热点话题。文本主题聚类可以协助发现文本中蕴含的主题，并将杂乱的内容聚合到不同的主题中，便于对文本的使用和理解，广泛应用于内容服务的多种场景。在自然语言处理领域，常见用于主题聚类的方法除了有潜在语义索引(LatentSemantic Indexing,LSI)主题模型、隐含狄利克雷分布(Latent Dirichlet Allocation,LDA)主题模型之外，还有基于关键词抽取叠加社区发现算法，该算法的聚类效果相对于主题模型好，然而，目前现有的基于关键词抽取叠加社区发现算法无法提现出关键词与关键词之间的相似性差异，难以准确地反映出文章的主题，主题聚类精准度低。

发明内容

有鉴于此，本申请实施例提供了一种文本的主题聚类方法、装置、设备及存储介质，可以体现关键词与关键词之间的相似性差异，准确地反映出文章的主题，提高主题聚类精准度，便于文章归类和理解。

本申请实施例的第一方面提供了一种文本的主题聚类方法，包括：

对主题聚类任务中的待聚类文本进行分词处理，获取表征待聚类文本的关键词；

将属于同一待聚类文本的关键词进行连线生成词对，结合所述词对中两个关键词之间的相似度值以及含有所述词对的第一待聚类文本数量，计算出所述词对在所述主题聚类任务中的权重值；

结合所述词对以及所述词对的权重值构建用于进行文本聚类分析的关键词图，并通过社区发现算法对所述关键词图进行图分割处理，生成表征聚类主题的主题子图；

基于所述主题子图确定所述待聚类文本与所述聚类主题之间的关联度，根据所述关联度获取所述待聚类文本的主题。

结合第一方面，在第一方面的第一种可能实现方式中，所述将属于同一待聚类文本的关键词进行连线生成词对，结合所述词对中两个关键词之间的相似度值以及含有所述词对的第一待聚类文本数量，计算出所述词对在所述主题聚类任务中的权重值的步骤，包括：

分别获取所述词对中两个关键词的词向量，计算两个所述关键词的词向量之间的余弦值作为所述两个关键词之间的相似度值；

将所述相似度值作为所述词对的初始权重值，通过遍历所述主题聚类任务中的所有待聚类文本，每新识别出一篇含有所述词对的待聚类文本时，则按照当前识别出的含有所述词对的第一待聚类文本数量以指数幂递减的方式对所述词对进行权重叠加处理，直至所述主题聚类任务中的所有待聚类文本遍历完成为止，以计算出所述词对在所述主题聚类任务中的权重值。

结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，所述将所述相似度值作为所述词对的初始权重值，通过遍历所述主题聚类任务中的所有待聚类文本，每新识别出一篇含有所述词对的待聚类文本时，则按照当前识别出的含有所述词对的第一待聚类文本数量以指数幂递减的方式对所述词对进行权重叠加处理，直至所述主题聚类任务中的所有待聚类文本遍历完成为止，以计算出所述词对在所述主题聚类任务中的权重值的步骤中，所述词对的权重值由以下关系式获得：