[发明专利]一种基于层次狄利克雷多项分配模型的多源文本聚类方法

权利要求书

1.一种基于层次狄利克雷多项分配模型的多源文本聚类方法，其特征在于：所述方法包含有如下步骤：一、从多个来源收集文本集；二、将来自多个数据源的文本信息进行文本预处理；三、基于层次狄利克雷多项分配模型构建主题模型；四、进行Blocked Gibbs采样方并更新参数β；五、根据采样结果进行文本聚类。

2.根据权利要求1所述的基于层次狄利克雷多项分配模型的多源文本聚类方法，其特征在于：所述步骤二中，预处理方法是进行分词，去停用词、低频词及标点数字。

3.根据权利要求1所述的基于层次狄利克雷多项分配模型的多源文本聚类方法，其特征在于：所述步骤三中，构建的多源主题模型的文本生成步骤为：

1)对于每个主题k：

A.选择β_k,i～N(μ,σ²I),i＝1,2,…,V

B.对于每个数据源s:

选择

2)对于每一个数据源s：

C.选择

D.对于数据源s中的文档d:

选择

E.对于文档d中的单词w：

选择w_i～Multinomial(w_i|z_d,φ^s)

4.根据权利要求1所述的基于层次狄利克雷多项分配模型的多源文本聚类方法，其特征在于：所述步骤四中，基于步骤三所构建的主题模型，利用Blocked Gibbs采样算法，采样多源数据集中每个数据源的特征词分布、噪音词分布以及主题分布，当采样结果趋于稳定后，更新产生主题-词分布参数的狄利克雷参数β，并重复Blocked Gibbs采样过程。

5.根据权利要求4所述的基于层次狄利克雷多项分配模型的多源文本聚类方法，其特征在于：所述Blocked Gibbs采样的推断过程如下：

对多源数据集中每一个数据源s：

3)更新主题-词分布

4)更新主题分布θ_s；

5)更新每篇文本的主题其中d＝{1,2,...,M^s}。

6.根据权利要求1所述的基于层次狄利克雷多项分配模型的多源文本聚类方法，其特征在于：所述步骤五中，根据步骤四的最终采样得到聚类结果。