[发明专利]一种分析微博话题演化的模型

权利要求书

1.一种分析微博话题演化的模型，其特征在于，包括以下步骤：

1)微博话题数据的抓取及预处理；

2)建立微博话题主题获取模型MTLDA；

3)将数据划分时间片，在每个时间片利用MTLDA模型完成每个时间片微博话题的主题发现。

4)计算相邻时间片的KL距离，分析话题的演化情况。

2.根据权利1所述的分析微博话题演化模型，其特征在于，所述的数据抓取及预处理通过以下方法获得：

1)去除停用词。将出现频率高，没有太大检索意义的词定义为停用词。将参与同一微博话题的用户所发表的微博评论抓取组合成一个文档，使用停用词表去除微博话题文档中的停用词。

2)对微博话题文档进行分词。采用中国科学院计算技术研究所研制的汉语词法分析系统(Institute of Computing Technology Chinese Lexical Analysis System，ICTCLAS)进行微博数据分词。

3)剔除垃圾用户发布的微博。结合用户的发布微博的周期频率、提及其他用户的比例、包含URL的比例、用户好友数目与其粉丝数目的比例这四个因素来判断是否为垃圾用户。

3.根据权利1所述的分析微博话题演化模型，其特征在于，所述的建立微博话题主题发现模型的方法通过以下方法获得：

S1.设定超参数α，β，γ，β₁

S2.对于每一个微博话题z_i，θ_i～Dir(α)

S3.对于每一个微博话题文档d_i，z_m，n～Mult(θ_m)

S3.1.对于微博文档中的每一个词w_i，Y～Bernoulli(π)

S3.2.判断如果Y＝1，w_m，n～Mult(Ω)；否则，如果Y≠1，

S4.重复步骤S3，直到输出全部主题--词概率列表。

4.根据权利1所述的分析微博话题演化模型，其特征在于，所述的计算相邻时间片的KL距离的方法通过以下方法获得：

KL距离也叫相对熵，是衡量相同事件空间里的两个概率分布的相似情况。本文采用KL距离来对相邻时间片的微博话题进行衡量。设Z₁＝{w₁₁，w₁₂，…，w_1n}和Z₂＝{w₂₁，w₂₂，…，w_2n}是两个相邻时间片中的子话题，P(i)是子话题Z₁中第i个词的概率分布，Q(i)是Z₂子话题中第i个词的概率，两个话题的KL距离公式为：

D(P||Q)=Σiln(P(i)Q(i))P(i)]]>

由公式可推知，P(i)和Q(i)两个概率分布越接近，则两个话题的KL距离越小，说明两个话题越相近。两个相邻的时间片中，若上一个时间片t_i-1的话题与下一个时间片t_i的所有子话题之间KL距离都大于给定的阈值，则定义为新话题产生；若t_i-1的话题与t_i的所有子话题KL距离有大于给定的阈值，也有小于给定的阈值，则定义为子话题分裂。