[发明专利]一种基于DMA模型和特征划分多源文本主题模型聚类方法

权利要求书

1.一种基于DMA模型和特征划分多源文本主题模型聚类方法，其特征在于：所述方法包含有如下步骤：一、从多个来源收集文本集；二、将来自多个数据源的文本信息进行文本预处理；三、基于DMA模型和特征划分构建多源主题模型；四、进行Blocked Gibbs采样并更新参数λ；五、根据采样结果进行文本聚类。

2.根据权利要求1所述的基于DMA模型和特征划分多源文本主题模型聚类方法，其特征在于：所述步骤二中，预处理方法是进行分词，去停用词、低频词及标点数字。

3.根据权利要求1所述的基于DMA模型和特征划分多源文本主题模型聚类方法，其特征在于：所述步骤三中，多源主题模型的文本生成过程为：

对于每个数据源χ_s∈{χ₁,χ₂,...,χ_S}:

a)选择γ_j^s|ω^s～B(1,ω^s),j＝1,2,...,W

b)选择η₀^s|β～Dirichlet(β₁,...β_W)

c)选择

d)对于每个主题i∈N：

(a)选择

e)选择Θ^s|α～Dirichlet(α/N,...,α/N)

f)对于d^s∈{1,2,...,D^s}：

(b)选择

(c)选择

(d)选择

4.根据权利要求1所述的基于DMA模型和特征划分多源文本主题模型聚类方法，其特征在于：所述步骤四中，基于步骤三所构建的主题模型，利用Blocked Gibbs采样算法，采样多源数据集中每个数据源的特征词分布、噪音词分布以及主题分布并对参数λ进行更新操作。

5.根据权利要求4所述的基于DMA模型和特征划分多源文本主题模型聚类方法，其特征在于：所述步骤四包括有下列具体步骤：

首先初始化模型参数，需要初始化的模型参数包括超参数{α,ω,λ,β}和隐藏变量初始化模型参数之后，Blocked Gibbs sampling的推断过程如下：

g)更新潜在特征词指示符γ；

h)采样更新主题-特征词分布

i)采样更新噪音词分布

j)采样更新主题分布Θ；

k)采样更新每篇文本的主题

当采样结果趋于稳定后，更新产生主题-特征词分布参数的狄利克雷参数λ，并重复Blocked Gibbs采样过程。

6.根据根据权利要求1所述的基于DMA模型和特征划分多源文本主题模型聚类方法，其特征在于：所述步骤五中，基于Blocked Gibbs采样结果，对进行文本聚类。