[发明专利]一种基于语义、时间和社交关系的中文微博话题检测方法及系统

说明书

本发明提供一种基于语义、时间和社交关系的中文微博话题检测方法及系统，用以解决话题检测中微博数据由于文本短小、口语化和一词多义等缺点导致的话题检测效果不佳的问题，该方法包括步骤：采集一定时间间隔上的相关话题的微博数据；使用预训练语言模型BERT(Bidirectional Encoder Representation from Transformers)在采集的微博数据上进行预训练；通过预训练好的BERT模型对微博文本进行向量化表示，得到基于上下文语义的微博语义表示；提出综合考虑时间因素和微博之间转发关系的文本聚类算法，从而解决传统微博话题检测仅考虑文本语义相似的问题。本发明主要用于微博搜索的任务，利用相关微博的话题检测结果来提高微博搜索命中率。

技术领域

本发明属于自然语言处理和信息检索领域，涉及话题检测与跟踪技术，主要是针对中文微博数据的话题检测。

技术背景

近年来，由于网络技术的广泛普及与迅猛发展，网络上信息的传播速度与网络中信息量的规模空前巨大。作为一种新兴的社会网络媒体，微博已逐步成为人们获取信息的重要来源。由于微博发布的内容很简短，并且可以在各种终端上发布微博信息，造成了在微博平台上短时间内会产生大量微博数据。如果仅仅通过人工来处理微博上这些数量巨大且杂乱无章的信息内容，不仅会大大增加工作量，而且很难为用户提供及时准确而又感兴趣的微博信息。微博话题检测技术就是一项能够针对微博中的海量信息进行处理、分析的技术，能及时将用户最感兴趣的信息展现给用户。

话题检测研究主要集中于基于文本的聚类算法和基于概率的话题模型。传统聚类算法中文本多采用向量空间模型表示。向量空间模型表示的文本存在稀疏性和高维度缺点，不利于大规模数据的计算；另一个缺点是忽略词之间的语义关系。LDA模型是基于概率的话题模型的代表，它可以一定程度解决语义丢失问题，但是LDA主题模型对短文本建模具有稀疏的问题。以上方法无法很好地解决微博文本内容杂乱且文本短小等特性造成的维度灾难、特征稀疏和一词多义等问题，并且没有考虑到微博时序与微博的社交属性信息。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题在于如何解决由于微博文本内容杂乱且文本短小等造成的维度灾难、特征稀疏和一词多义等问题和话题检测结果不准的问题。

(二)技术方案

为解决上述技术问题，本发明提供了一种基于语义、时间和社交关系的中文微博话题检测方法，所述方法包括以下步骤：

S1.微博数据的预处理：去除已有微博数据集文本中的无效信息、无用字符和停用词等，并构建预训练语言模型BERT(Bidirectional Encoder Representation fromTransformers)的输入，即将微博数据预处理成为文本字集；

S2.微博文本的表示学习：本发明提出使用强大的预训练模型来进行中文微博短文本的语义表示学习。利用预处理好的微博文本字集对BERT模型进行预训练，通过BERT模型基于MLM(Masked Language Model)训练的机制，可以得到具有丰富语义信息的微博文本向量表示；

S3.微博话题的检测：使用提出的综合考虑时间因素和微博之间转发关系的文本聚类算法，对微博话题检测数据集进行话题的自动检测，从而得到微博数据集中的话题内容。

其中，步骤S1具体包括：

S11.将微博数据集中的微博数据利用工具分成单个字形式并且使用空格分隔开；

S12.对S11中的数据进行无效字符去除和停用词去除(的、呢，嗯等)。

其中，步骤S2具体包括：