[发明专利]一种面向网络文本大数据的话题检测或跟踪方法

说明书

本发明公开了一种面向网络文本大数据的话题检测或跟踪方法，其基本思路如下：通过检测不同文档中共同出现的关键词，构造关键词的图模型及对应的邻接矩阵，并将其与谱聚类相结合，提出了一种新的话题检测模型，计算得到每篇文档关于话题的概率分布，当新文档到达时计算其与历史话题所表示属性集的相似度，实现话题的自动检测或跟踪，并通过MapReduce编程模型来实现分布式的方法。本发明的特点在于，用关键词的共现关系对话题进行显示挖掘，而非隐式，面向大数据采用分布式计算，将互联网中的数据信息进行聚类，可拓展性更强，可处理的数据量更大，极大地提高了吞吐率。

技术领域

本发明属于大数据分析和机器学习交叉的技术领域，更具体地，涉及一种面向文本大数据的话题检测或跟踪方法。

背景技术

随着互联网信息的大幅膨胀，信息量呈指数增长，浩瀚的网络数据远远超出了人类的掌控能力，用户难以从众多信息中快捷地提取自己所需要的信息。话题检测或跟踪(Topic Detection and Tracking，TDT)是一项针对新闻媒体信息流进行新话题的自动检测和已知话题的后续跟踪的信息处理技术。由于话题检测和跟踪与信息检索和数据挖掘等自然语言处理技术存在着很多的共性，而且它直接面向具备突发性特征的新闻语料，因此逐渐成为大数据分析的研究热点。这项技术以自然语言处理为依托，涉及机器学习、人工智能等多种学科的相关技术。它的发展与应用息息相关，在信息安全、私人订制、金融证券分析等领域都有一定的需求。例如，TDT可以发展成为一种对用户进行有针对性的信息传送的崭新信息服务模式。

目前的研究仍然以传统基于统计策略的文本分类、信息过滤和聚类等技术为主，忽视了新闻语料本身具备的特点，比如话题的突发性与跳跃性、相关报道的延续与继承性、新闻内容的层次性以及时序性等。针对这一问题，当前的研究趋势是将多种方法进行融合，并嵌入新闻语料特性实现话题的识别与追踪，，比如结合命名实体的话题模型描述、以时间为参数的权重与阈值估计等等。虽然这些方法能够在一定程度上提高TDT系统性能，但只是对传统统计策略的一种补充与修正，并没有形成独立于话题检测或跟踪领域特有的研究框架与模型。

发明内容

本发明的目的在于提供一种面向文本大数据的话题检测或跟踪方法，其可有效解决对新话题进行检测和对已出现话题的识别和跟踪问题，通过引入一种谱聚类和检测共同出现的关键字相结合的方法，提出了一种新的话题检测模型，并通过MapReduce编程模型来实现分布式的方法，使吞吐率得以显著提高。

本发明提供了一种面向文本大数据的话题检测或跟踪方法，包括如下步骤：

(1)对中文分词后的文档集构造图模型，每个关键词都视为图的一个结点，用关键词的共现关系构造结点间的边，得到图及其邻接矩阵；

(2)构造拉普拉斯矩阵，采用分布式的方法进行特征分解并计算其前k个特征向量；

(3)对拉普拉斯矩阵的前k个特征向量构成的矩阵使用K-means算法进行聚类，聚类的结果中每一行所属的类别就是原来图中的节点亦即最初的n个数据点分别所属的类别；

(4)构造话题的属性向量，根据话题的属性向量及上述聚类结果计算每篇文档关于话题的概率分布；

(5)利用步骤(1)-(4)的方法进行话题检测与追踪的相关应用。

在本发明的一个实施例中，所述步骤(1)具体包括如下子步骤：

(1.1)对文档集进行中文分词后，每个名词短语或命名实体作为一个关键词，将每个关键词视为图的一个结点；

(1.2)构造结点间的边，将共同在同一文档出现的关键词连接起来，边的权重用于表示在文档中所有关键词序列共同出现次数的规范化值，所述规范化是令所有的权重和为1，即边的权重表示该关键词序列共同出现次数/所有关键词序列共同出现次数；所述关键词序列是指共同在一篇文档中出现的两个关键词；