[发明专利]基于社交文本的网络舆情话题识别方法和系统

权利要求书

1.一种基于社交文本的网络舆情话题识别方法，其特征在于，所述方法由计算机执行，包括以下步骤：

S1、获取多个用户的社交媒体数据的文本集合，并确定所述文本集合的主题数量，包括：

S101、获取|M|条社交文本构成的文本集合D，记为|M|表示文本集合D中的文本数量，一个用户对应一条文本；

S102、对所述文本集合D进行预处理；

S103、基于预处理后的文本集合D建立向量1≤i≤N_m，用来表示集合D中的第m个用户的文本；D_mi表示第m个用户文本中的第i个词，N_m表示第m个用户文本中的单词数；

S104、确定文本集合D中的主题个数K；

S2、基于有参贝叶斯模型、所述文本集合和所述文本集合的主题数量获取主题-单词分布、文本-主题分布和网络舆情话题识别模型，其中单词包括生成词中的主题词和生成词的噪声词，包括：

S201、基于文本集合D中的K个主题，按照公式(1)进行采样从单词V的狄利克雷分布β中抽取主题k∈{1,2,...,K}的主题词分布和噪声词分布

式(1)中：

β和β'是狄利克雷分布的超参数；

S202、对于每个用户的文本m∈{1,2,...,M}，按照公式(2)建立文本-主题分布，用向量表示；

式(2)中：

α是狄利克雷分布的超参数；

表示用户文本m中对应的主题分布，服从参数为α的狄利克雷分布；

S203、基于文本的主题分布，利用公式(3)生成主题-单词分布；

式(3)中：

服从参数为γ,γ'的Beta分布，用于选择主题-单词分布，与构成Beta-Multinomial共轭；

c_mn是二元指示变量，服从伯努利分布，决定主题-单词分布的超参数，

式(4)中，

z_mn服从多项式分布，表示第m条文本的第n个词的主题编号；

当c_mn＝1时，表示文本D_m是从主题词分布中生成词w_mn的；当c_mn＝0时，表示文本D_m是从噪声词分布中生成词w_mn的；

S3、根据贝叶斯准则使用Gibbs采样算法对所述网络舆情话题识别模型中的潜在参数进行参数估计，包括：

S301、设计折叠Gibbs采样算法进行近似后验推断，对潜在参数z_mn和c_mn进行采样，包括：

S30101、基于贝叶斯准则，使用公式(5)计算单词w_mn对应主题z_mn的后验概率：

式(5)中：

z_-(mn)指除单词w_mn外所有单词对应的主题编号；

表示当c_mn＝1时，单词v被分配到主题k上的次数；

表示当c_mn＝1时，被分配到主题k上的所有单词数；

表示第m个用户文本中被分配到主题k上的单词数；

所有带有公式-(mn)的计数均表示去除了单词w_mn；

γ,γ'表示Beta分布的参数；

S30102、采样二元指示变量c_mn，计算条件概率分布，采样二元指示变量c_mn，如式(6)，二元指示变量c_mn是分布选择器，决定了第m篇文本中，生成第n个词所选择的主题词分布；

式(6)中：

表示所有由噪声词分布生成的单词数，去除单词w_mn；

表示所有由主题词分布生成的单词数，去除单词w_mn；

表示噪声词分布生成单词v的次数，去除单词w_mn；

表示噪声词分布生成所有词的次数，去除单词w_mn；

表示c＝0时表示所有由噪声词分布生成的单词数，去除单词w_mn；c＝1时表示所有由主题词分布生成的单词数，去除单词w_mn；

表示c_mn＝1时，单词v被分配到主题k上的次数，除去单词单词w_mn；

表示噪声词分布生成所有词的次数；

所有带有公式-(mn)的计数均表示去除了单词w_mn；

S302、为S301中两个潜在参数z_mn和c_mn随机初始化值；

S303、按照S301中的样公式(5)(6)依次采样，更新潜在参数z_mn和c_mn的值；

S304、将步骤S303重复I₀次，完成网络舆情话题识别模型中潜在参数的更新，I₀是迭代次数；

S4、基于所述潜在参数的值获取所述文本集合中文本-主题分布，主题-主题词分布，主题-噪声词分布，确定网络舆情话题。