[发明专利]一种面向网络文本大数据的话题检测或跟踪方法

摘要

本发明公开了一种面向网络文本大数据的话题检测或跟踪方法，其基本思路如下：通过检测不同文档中共同出现的关键词，构造关键词的图模型及对应的邻接矩阵，并将其与谱聚类相结合，提出了一种新的话题检测模型，计算得到每篇文档关于话题的概率分布，当新文档到达时计算其与历史话题所表示属性集的相似度，实现话题的自动检测或跟踪，并通过MapReduce编程模型来实现分布式的方法。本发明的特点在于，用关键词的共现关系对话题进行显示挖掘，而非隐式，面向大数据采用分布式计算，将互联网中的数据信息进行聚类，可拓展性更强，可处理的数据量更大，极大地提高了吞吐率。

主权项

1.一种面向文本大数据的话题检测或跟踪方法，其特征在于，所述方法包括：(1)对中文分词后的文档集构造图模型，每个关键词都视为图的一个结点，用关键词的共现关系构造结点间的边，得到图及其邻接矩阵；(2)构造拉普拉斯矩阵，采用分布式的方法进行特征分解并计算其前k个特征向量；(3)对拉普拉斯矩阵的前k个特征向量构成的矩阵使用K-means算法进行聚类，聚类的结果中每一行所属的类别就是原来图中的节点亦即最初的n个数据点分别所属的类别；(4)构造话题的属性向量，根据话题的属性向量及上述聚类结果计算每篇文档关于话题的概率分布；(5)利用步骤(1)-(4)的方法进行话题检测与追踪的相关应用；其中，所述步骤(1)具体包括如下子步骤：(1.1)对文档集进行中文分词后，每个名词短语或命名实体作为一个关键词，将每个关键词视为图的一个结点；(1.2)构造结点间的边，将共同在同一文档出现的关键词连接起来，边的权重用于表示在文档中所有关键词序列共同出现次数的规范化值，所述规范化是令所有的权重和为1，即边的权重表示该关键词序列共同出现次数/所有关键词序列共同出现次数；所述关键词序列是指共同在一篇文档中出现的两个关键词；(1.3)将上述图模型用邻接矩阵的形式表示为N阶方阵，记为W∈Rn×n，其中n为关键词的总数；所述步骤(4)具体包括如下子步骤：(4.1)聚类的结果将图分为了相互之间无联系的簇，而簇内部的各结点紧密相连，把每一个簇视为一个话题T，簇内结点表示的每一个关键词视为话题属性，它表征话题的内容；将这些属性排列在一起组成了话题t∈T的一个属性向量ft；(4.2)文档d属于话题t的概率函数由d和属性向量ft的余弦相似度决定，公式为 p ( t | d ) = cos i n e ( d , f t ) Σ t ′ ∈ T cos i n e ( d , f t ′ ) ]]>每篇文档代表了一些话题所构成的一个概率分布，将每篇文档属于所有话题的概率进行排序，文档内容最贴近于序列位排第一的话题；(4.3)对于所有的话题ti和tj，定义重叠部分为ti和tj中共同出现的关键词，重叠比率为重叠部分占ti和tj所有关键词总数的比率，若ti和tj的重叠比率比阈值ω要大，则将ti和tj合并成一个新的话题t，且定义重新计算概率函数，进入步骤(4.2)；阈值ω根据经验值设置。