[发明专利]一种基于DMA模型和特征划分多源文本主题模型聚类方法

说明书

本发明公开了一种基于DMA模型和特征划分多源文本主题模型聚类方法，所述方法包含有如下步骤：一、从多个来源收集文本集；二、将来自多个数据源的文本信息进行文本预处理；三、基于DMA模型和特征划分构建多源主题模型；四、进行Blocked Gibbs采样并更新参数；五、根据采样结果进行文本聚类。本发明通过更新多源文本的主题‑词分布的先验参数，改善了多源文本的聚类效果；本发明能够自动判别每个数据源文本中簇的数目，而不需要人为提前给定；每个数据源拥有各自的主题分布、主题‑特征词分布以及噪音词分布参数，因此本发明能保留多源文本中每个数据源的主题热点以及用词特点。

技术领域

本发明涉及一种模型聚类方法，尤其涉及一种基于DMA模型和特征划分多源文本主题模型聚类方法，属于机器学习和自然语言处理技术领域。

背景技术

随着Internet技术的飞速发展，越来越多的应用可以产生文本信息，本文将多个应用产生的文本数据集称之为多源文本数据集。从多源文本数据集中挖掘其主题信息以及文本结构对于很多应用程序都是非常有必要的。例如，新闻热点分析的应用可以发现来自各种新闻网站、论坛和社交媒体的文本信息，以了解社会关注的热点问题。人们通过分析市民热线、交通公告牌等各种来源的交通信息，发现突发交通事故。主题模型是目前较为流行的文本挖掘方法之一。因此，有必要研究一种多源文档主题模型，挖掘多源文本数据集中的文本信息。

用传统的主题模型挖掘多源文本数据集的信息有很多困难，比如说：1)在多源文本数据集中，每一篇文档都由大量的词来表示，包括特征词和大量的无关噪声词。而且由于书写风格的偏向，来自不同数据源的噪声词不同。不相关的噪声词会干扰模型的构建，影响模型性能。2)每个数据源相同主题的词分布相关但不相同。例如，新闻网站的文章倾向于用标准术语描述一个主题，而社交媒体文档中的词汇则更随意。因此，直接采用传统的主题模型挖掘多源文本的词特征等信息是不可行的，因为不同来源的主题的书写风格差异以及描述角度的不同严重影响了模型的性能。3)在多源文本数据集中估计簇类数N也是困难的。对于大多数传统的主题模型来说，N被认为是用户事先确定的一个参数，但在挖掘前提供正确的N值是困难和不切实际的。此外，对于不同的数据源，N通常是不同的，这大大增加了估计正确N的难度。因此，如果多源文本主题模型能够自动地估计每个数据源的聚类数N，对于模型的推广和应用是非常有用的。

因此，针对上述三个问题，需要研究一种新的针对多源文本数据的主题模型以挖掘准确的信息。

发明内容

本发明要解决的技术问题是：提供一种基于DMA模型和特征划分多源文本主题模型聚类方法，它能挖掘多源文本数据集中每个数据源的结构信息，还能自动推断每个数据源各自的文本簇类数目N，而不需要人为提前给定，有效的解决了上述存在的问题。

本发明的技术方案为：一种基于DMA模型和特征划分多源文本主题模型聚类方法，所述方法包含有如下步骤：一、从多个来源收集文本集；二、将来自多个数据源的文本信息进行文本预处理；三、基于DMA模型和特征划分构建多源主题模型；四、进行Blocked Gibbs采样并更新参数λ；五、根据采样结果进行文本聚类。

所述步骤二中，预处理方法是进行分词，去停用词、低频词及标点数字。

所述步骤三中，构建的多源主题模型的文本生成过程为：

对于每个数据源χ_s∈{χ₁,χ₂,...,χ_S}:

a)选择γ_j^s|ω^s～B(1,ω^s),j＝1,2,...,W

b)选择η₀^s|β～Dirichlet(β₁,...β_W)

c)选择