[发明专利]一种网络热点话题发现方法及系统

权利要求书

1.一种网络热点话题发现方法，其特征在于，包括：

S1，基于词语的信息熵从预设时间段的文本语料中提取热词候选词；

S2，根据所述热词候选词的单日词频和历史波动性计算所述热词候选词的热度，按照热度降序将所述热词候选词进行排序，并将前N个热词候选词作为热词，其中N＝1；

S3，计算每两个所述热词的相关性，当两个所述热词的相关性大于第一预设阈值时，将两个所述热词合并到同一集合中，并将其他每个热词单独存放在一个集合中，获得所有热词集合；

S4，计算每两个所述热词集合之间的共现度，当两个所述热词集合之间的共现度大于第二预设阈值时，将两个所述热词集合进行合并，获得合并后的所有热词集合；

S5，计算每个所述合并后的热词集合中每两个热词之间的共现度，并统计每个热词的共现度，按照共现度降序将所有热词进行排序，将前M个热词作为每个所述合并后的热词集合对应的热点话题的名称，其中M＝1；

步骤S2中所述根据所述热词候选词的单日词频和历史波动性计算所述热词候选词的热度，进一步包括：

根据所述热词候选词的单日词频计算所述热词候选词的基础权值，根据所述热词候选词的历史波动性计算所述热词候选词的波动权值；

根据所述基础权值和所述波动权值计算所述热词候选词的热度，计算公式为：

H＝B*0.5+F*0.5

其中，B为所述热词候选词的基础权值；F为所述热词候选词的波动权值；H为所述热词候选词的热度；

基础权值B的计算公式如下：

B＝log(1+log(1+log(tf+1)))

其中，tf表示热词候选词的日统计词频；

基础权值的整体波动性V、长期变化L、短期变化S和波动权值F分别表示如下：

F＝V*0.4+L*0.4+S*0.2

其中，n表示实验数据周期，Bi表示基础词频；

步骤S3中所述计算每两个所述热词的相关性，进一步包括：

计算每两个所述热词的编辑距离相似度和知网相似度；

根据所述编辑距离相似度和所述知网相似度计算每两个所述热词的相关性，计算公式为：

sim(X,Y)＝α*sim_e(X,Y)+β*sim_c(X,Y)，α+β＝1

其中，sim(X,Y)表示词语X和词语Y的相关性；sim_e(X,Y)表示词语X和词语Y的编辑距离相似度；sim_c(X,Y)示词语X和词语Y的知网相似度，α和β分别表示编辑距离相似度和知网相似度的权重；设词语X由n个字符构成X＝x₁x₂,…,x_n，词语Y由m个字符构成Y＝y₁y₂,…,y_m，C＝{c_s,c_i,c_d}分别表示字符变化时替换、插入和删除一个字符的代价，则X和Y的编辑距离递归地定义如下：

其中，Head(X)＝x₁x₂…x_n-1，Head(Y)＝y₁y₂…y_m-1，C_i(ε，ym)＝c_i，C_d(x_n,ε)＝c_d，

因此，热词则X和Y的编辑距离相似度计算公式如下：

其中，|X|，|Y|分别表示热词X和热词Y的长度；

设词语X由n个义项组成，用C_x1,C_x2,…,C_xn表示，Y由m个义项组成，用C_y1,C_y2,…,C_yn表示，则X和Y的知网相似度sim_c(X,Y)的计算公式如下：

其中，Sim(C_xi,C_yj)指两个义项C_xi和C_yj的相似度；

义项C_xi和C_yj的相似度计算公式如下：

其中，Sim_pj(P₁,P₂)指两个义原P₁和P₂的相似度，β_i(1≤i≤4)是可调节的参数，且满足β₁+β₂+β₃+β₄＝1,β₁≤β₂≤β₃≤β₄；

义原P₁和P₂的相似度计算公式如下：

Sim_p(P₁,P₂)＝σ/(d+σ)

其中，d指P₁和P₂在义原层次体系中的路径长度，σ是一个可调节的参数；

步骤S4中所述计算每两个所述热词集合之间的共现度进一步包括：

计算每两个所述热词集合中的每两个词语之间的共现度；比较每两个所述词语之间的共现度，将每两个所述词语之间的共现度的最大值作为每两个所述热词集合之间的共现度；

具体地，设热词集合A包含n个语义相关的热词，即A＝{X₁,X₂,…X_n}，其中n≥1，热词集合B包含m个语义相关的热词，即B＝{Y₁,Y₂,…Y_m}，其中m≥1，则定义集合A和集合B的共现度C(A,B)的计算公式如下：

C(A,B)＝max{C(X_i,Y_j)}i＝1,2…,n；j＝1,2,…,m.

其中，C(X_i,Y_j)表示集合A中的热词X_i和集合B中的热词Y_j的共现度；

热词X_i和热词Y_j的共现度C(X_i,Y_j)的计算公式如下：

其中，R(X_i|Y_j)表示热词X_i相对于热词Y_j的相对共现度，R(Y_j|X_i)表示热词Y_j相对于热词X_i的相对共现度，R(X_i|Y_j)一般不等于R(Y_j|X_i)，但C(X_i,Y_j)＝C(Y_j,X_i)；

热词X_i相对于热词Y_j的相对共现度R(X_i|Y_j)的计算公式如下：

其中，f(X_i,Y_j)表示热词X_i和词语Y_j在同一文本中共同出现的次数，f(Y_j)表示热词Y_j出现的次数。