[发明专利]一种基于强化学习的流式文本数据的事件聚类方法

说明书

本发明提供一种基于强化学习的流式文本数据的事件聚类方法，包括：S1、通过流式处理获取文本数据的特征表示；S2、获取全部候选事件构成当前事件库，并对每个候选事件进行特征提取和表示；S3、通过基于强化学习的事件聚类训练方法，得到聚类策略；S4、判断当前处理的文本数据的事件归属，更新当前事件库。本发明能及时高效的对海量的不断增长的流式文本数据进行聚类处理，通过引入已有的标注数据的先验知识，进行基于强化学习的事件聚类训练，使得事件聚类的结果更加及时和准确。

技术领域

本发明涉及一种事件聚类方法，具体是指一种基于强化学习的流式文本数据的事件聚类方法，属于数据挖掘领域。

背景技术

在互联网世界的各个角落，每天都有很多事件发生，其中不乏一些热点事件会引发社会舆论的广泛讨论。围绕着这些事件，互联网上每天都在产生着海量的资讯，除传统新闻网站的报道之外，还有自媒体和社交媒体的参与，这使得互联网资讯呈现广泛性和多样性的特点，如何将这些混乱的资讯整理成一个个有序的事件以获得有用信息是一个有意义的研究。

流式数据是一组顺序、大量、快速、连续到达的数据序列，可被视为一个随时间延续而无限增长的动态数据集合。对于互联网上不断产生的流式数据，传统的基于划分或基于密度的聚类方法无法直接使用，因为这些方法需要确定的数据甚至确定的输出聚类数，这与流式数据的潜在无限性不符，而且这些方法还需要进行反复的迭代计算，计算成本较高，很难保证结果的实时性。

现有技术中，针对流式文本数据的事件聚类方法的核心在于文本表示和相似度计算，基本可分为无监督的方法和有监督的方法。其中，所述的无监督的方法基本上是用某些自然语言处理的工具对文本进行处理，提取文本特征，进行文本表示，并且定义一种相似度计算方法，找到一个合适的阈值，通过这些人工定义的规则进行聚类。这种方法的主要问题在于没有从数据中进行学习，人工定义的规则难以适应复杂多变的数据。

而所述的有监督的方法主要包括两种，一种是将问题转化为判断文本对是否属于同一事件的分类问题，可通过使用机器学习或者深度学习的方法提取文本特征并进行分类。这类方法的问题在于实际聚类过程中，对文本进行两两比较的计算成本太高。另一种有监督的方法是提前定义聚类数，然后通过标注数据学习一种合适的划分方法。但是这种方法的问题在于与流式数据的不确定性不相适应。

为了解决上述问题，本发明提供了一种基于强化学习的流式文本数据的事件聚类方法，利用已有的标注数据，学习一种合适的聚类策略，并结合Single-Pass增量式聚类算法，以一种简单高效的方法，对流式文本数据进行实时的处理和分析，从而实现事件聚类。

发明内容

本发明的目的在于提供一种基于强化学习的流式文本数据的事件聚类方法，及时高效的对海量的不断增长的流式文本数据进行聚类处理，通过引入已有的标注数据的先验知识，进行基于强化学习的事件聚类训练，使得事件聚类的结果更加及时和准确。

为了达到上述发明的目的，本发明采用的技术方案为：一种基于强化学习的流式文本数据的事件聚类方法，包括以下步骤：

S1、通过流式处理获取文本数据的特征表示；

S2、获取全部候选事件构成当前事件库，并对每个候选事件进行特征提取和表示；

S3、通过基于强化学习的事件聚类训练方法，得到聚类策略；

S4、判断当前处理的文本数据的事件归属，更新当前事件库。

所述的S1中，具体包含以下步骤：

S11、对输入的文本数据进行流式处理，其中每条文本数据的发布时间作为时间标签；

S12、使用自然语言处理工具提取文本数据中的命名实体或关键词，或直接提取文本数据中的标签，通过采用词嵌入模型，获取每个文本数据的特征表示。

所述的S2中，具体包含以下步骤：