[发明专利]基于特征项权重增长趋势的事件检测与跟踪方法

说明书

本发明公开了一种基于特征项权重增长趋势的事件检测与跟踪方法，其特征在于：先按新闻时序依次从新闻库中取新闻；然后从新闻中提取关键词作为特征项构建新闻向量模型；接着将第一则新闻文本作为一个事件存入事件库；再把新获取的新闻依次与事件库中的每一事件进行对比，获取最大的相似度值并与相似度阈值进行比较，若最大相似度值大于相似度阈值，则将该新闻归入到对应事件，否则，作为一个新事件存入事件库。本发明通过对事件的特征项权重依据时间的分布特征研究，发现与事件主旨关系比较密切的特征项，使用特征项的增长趋势来反映特征项的热度，根据特征项的这个特征，设计新的相似度算法，进而比较有效地检测出一些热点事件并追踪其发展态势。

技术领域

本发明涉及数据挖掘领域，尤其是涉及一种基于特征项权重增长趋势的事件检测与跟踪方法。

背景技术

网络新闻是以网络为载体，由新闻机构发布的最近发生事件的消息报道，是人们日常生活中最为关注的信息类型之一，事件是指在特定时间、特定地点发生的关于特定人物群体的某个事情。互联网的飞速发展带来了海量繁杂的新闻报道，导致人们很难快速方便的找到自己感兴趣事件的相关报道。因此，新闻事件检测与跟踪研究变得愈发重要，它旨在帮助人们应对日益严重的互联网信息爆炸问题，对新闻媒体信息流进行事件的自动识别和已知事件的持续跟踪。

事件检测通常可以分为两类：回顾式方法和在线式方法。前者首先获取整个新闻集，然后通过文本聚类方法对新闻文本聚类，标识出所有事件，若有新增数据，则在新的数据集上重新执行聚类算法；后者按新闻的时间顺序依次处理每条新闻，从新闻流中检测出事件，对于新增数据采用增量式更新挖掘算法。回顾式方法虽然简单易操作，但数据集量级过大时，算法重新执行会造成计算上的浪费，其效率会成为最大的问题，因此，更侧重于实时地在新闻流中标识出事件的在线式方法更具实用价值。事件跟踪主流的方法包括KNN方法、决策树方法、根据词法特征进行事件跟踪、利用一个有限混合模型动态追踪话题发展趋势的方法、基于反馈学习自适应的中文话题追踪技术，然而，现阶段的研究大多只停留在事件跟踪阶段，对事件的动态演变过程研究甚少。

传统的新闻事件检测采用文本聚类算法处理静态的数据集，聚类结果为话题簇，然而，生产环境中新闻数据是递增的，能够动态地处理新闻集，跟踪后序新闻报道，反应事件动态演变过程的事件检测与跟踪方法才更有意义。

发明内容

本发明所要解决的技术问题是提供一种基于特征项权重增长趋势的事件检测与跟踪方法，该方法结合特征项的权重与特征项的增长趋势的相似度算法，能够实时高效地检测新闻事件并反映一个事件动态变化的过程。

本发明解决上述技术问题所采用的技术方案为：

一种基于特征项权重增长趋势的事件检测与跟踪方法，包括以下步骤：

(1)从新闻门户网站爬取新闻形成新闻集合；

(2)针对新闻集合中的每一篇新闻，从新闻的标题与正文中提取关键词作为新闻特征项，以特征项构建新闻向量模型；

(3)从新闻集合中提取第一则新闻，并作为一个事件存入事件库，该新闻的新闻特征项即为对应事件的事件特征项；

(4)按新闻时序依次从新闻集合中取出新闻，并且依次计算所提出的新闻与每个事件的相似度，取最大的相似度值，并与预先设定的相似度阈值进行比较，当最大相似度值大于相似度阈值，将该新闻归入到最大相似度值对应的事件中，实行步骤5，当最大相似度值小于相似度阈值，将该新闻作为一个新的事件存入事件库，并直接实行步骤6；

(5)当一则新闻归入某个事件时，如果该新闻拥有事件的一个或多个事件特征项，则将对应的事件特征项权重加1；如果事件缺少该新闻的一个或多个新闻特征项，则将对应的新闻特征项添加到该事件的事件特征项中，并设置初始权重为1，且每当有新闻归入到一个事件时，根据衰减比例对每个事件特征项的权重进行衰减。