[发明专利]一种时序海量网络新闻的热点事件快速检测方法

权利要求书

1.一种时序海量网络新闻的热点事件快速检测方法，包括：

A．使用带时间因子的狄利克雷过程对网络新闻文本在线聚类，包括如下三步：

A1.将网络新闻文本序列按时间间隔分为区块序列，每个区块包含时间间隔内的多个新闻文本；

A2.对第一个区块的新闻文本按狄利克雷过程进行聚类，形成聚类簇集合；

A3.把前一区块聚类后的结果进行衰减、过滤，作为后续区块的先验分布，然后对后续区块按按狄利克雷过程进行聚类；

B．对热点事件进行排序和展示，包括：

B1.对每个聚类簇，计算此聚类簇在报道期间内平均时间段的报道量，然后按照报道量进行事件的热度排序；

B2.将排序值最高的T个聚类簇作为热点事件，选取每个聚类簇中tf-idf值最高的M个特征作为热点的关键词，对热点进行展示，

其中，T、M为用户自定义值；tf为某个词或短语term在一个

文本Text中出现的频次，df为该词或短语在文本集合中的多少个文本中出现，Num为文

本集合中的文本总数，对数log取10为底数。

2.如权利要求1所述的热点事件快速检测方法，其特征是，步骤A1中，所述时间间隔以1天为单位，每个区块包含1天的新闻文本。

3.如权利要求1所述的热点事件快速检测方法，其特征是，步骤A3中，所述衰减的处理方法如下：在前一区块处理完之后，对形成的每个聚类簇以a为衰减因子实施衰减，假定某个聚类簇的大小为r，则，通过修改衰减后，其大小变为r＇＝a*r，其中a∈(0,1)，聚类簇内部的特征分布保持不变。

4.如权利要求1所述的热点事件快速检测方法，其特征是，步骤A3中，所述过滤的处理方法如下：删除大小小于一定阈值t的聚类簇，同时，删除持续报道时间超过一定时间长度的聚类簇。

5.如权利要求1所述的热点事件快速检测方法，其特征是，步骤A2的实现方法如下：

第1步：初始化聚类簇集合C为空，聚类簇个数K为0；

第2步：设定一个概率最大值的初始值p_max＝0；

第3步：对于区块中每一个文本x_i，重复执行第3.1步~第3.3步：

第3.1步：新增一个聚类簇c_new，记C'＝C∪{c_new}；

第3.2步：对于每一个聚类簇c_j∈C'，重复执行第3.2.1步~第3.2.1步：

第3.2.1步：当文本属于c_j时，计算当前区块整体的概率p如下：

①计算当前文本x_i之前各文本x_r，1≤r≤i，属于相应聚类簇的概率值：

p(xr)=(NassignrΣk=1KNk+α×Πl=1LΓ(nassignrl+βassignrl)Γ(Σl=1Lnassignrl+β0))]]>

②假定文本x_i之后的各文本x_r，i＜r≤m，属于单独的新聚类簇，其概率值则为：

p(xr)=αΣk=1K+1Nk+α×Πl=1LΓ(nrl+βrl)Γ(Σl=1Lnrl+β0)]]>

③当前区块的整体概率为上面各个文本x_i所属聚类簇的概率值之积：

p=Πr=1mp(xr)]]>

第3.2.2步：若概率p大于最大概率值p_max，即：p>p_max时:

第3.2.2.1步：第i个文本x_i的聚类簇指定为c_j：assign_i=c_j；

第3.2.2.2步：更新最大概率值，使p_max=p；

第3.3步：若第i个文本x_i所属的聚类簇不属于集合C，即：assigni=c_K+1:

第3.3.1步：将新的聚类簇c_K+1加入到聚类簇集合C:C=C∪{c_K+1};

第3.3.2步：聚类簇数增1，即：K=K+1；

第4步：返回每个文本对应的聚类簇，即assign_1:m；

其中，区块中的m个文本对应的聚类簇，以序列表示为：assign_1∶m＝(assign₁,assign₂,...,assign_m),其中assign_j∈C，C表示聚类簇集，即C={c₁,c₂,…,c_k}，聚类簇的个数为K=|C|；N_j表示属于聚类簇c_j的文本个数；L表示文本集合中总共包含的不同词数；表示属于聚类簇c_j的文本集合中序号为l的词总共出现的次数；是对应于的超参数，且α也是超参数，超参数给定为一个初始的常量值。