[发明专利]基于在HDP模型中引入自适应窗口的文档主题提取方法

说明书

本发明公开了一种基于在HDP模型中引入自适应窗口的文档主题提取方法，将HDP模型与ADWIM相结合，通过似然变化检测主题漂移，在没有发现主题漂移时直接合并窗口更新模型，在主题发生漂移时划分子窗口重新判断是否进行窗口合并。该模型利用自适应窗口把文档划分为较小的文档块，通过移动窗口保证了词与词之间的顺序，同时通过自适应的方式来选取模型训练窗口划分，避免了像大多数方法那样定义任意的时间片和文档块。

技术领域

本发明属于文档主题提取方法技术领域，具体涉及基于在HDP模型中引入自适应窗口的文档主题提取方法。

背景技术

随着网络文本的爆炸式增长，从海量文本提取合理的信息是件非常困难的事。在众多的文本处理方法中，主体模型能够对大规模文档集进行文本聚类，使得人们较快地获取到想要的信息。近二十年来，主题模型得到了快速的发展，并扩展出很多模型。

现有的主题模型中，LDA(Latent Dirichlet Allocation，隐含狄利克雷分布)主题模型虽然在文本聚类中取得了较好的效果，但是需要手动确定最优的主题聚类个数，而在海量文本数据中，文档主题数并不能确定。HDP(分层狄利克雷过程)模型是LDA主题模型无参数的一个扩展，它能够自动确定文档的主题个数，训练前不需要预设文档的主题个数，解决了人工确定文档主题数的问题。现有的LDA模型和HDP模型是根据定义的一批文档推断主题分布，此设置没有考虑文档中词与词之间的顺序，而基于时间片的变体模型需要按固定时间片对文档进行分组，但是面临时间片难以定义的问题。

发明内容

针对现有技术中的上述不足，本发明提供的基于在HDP模型中引入自适应窗口的文档主题提取方法解决了现有的HDP模型提取文档信息时需要预先定义时间片和文档块的问题。

为了达到上述发明目的，本发明采用的技术方案为：基于在HDP模型中引入自适应窗口的文档主题提取方法，包括以下步骤：

S1、基于待提取信息的文档生成初始HDP模型；

S2、在生成的初始HDP模型中引入自适应窗口机制，构建AWIHDP模型；

S3、将当前待提取信息的文本输入到当前AWIHDP模型中，并对其进行更新；

S4、判断是否有新的待提取信息文本到达；

若是，则返回步骤S3；

若否，则进入步骤S5；

S5、将当前AWIHDP模型提取到所有文本的主题词分布作为文档主题提取结果。

进一步地，所述步骤S1具体为：

A1、从基分布H和第一聚集参数γ构成的狄利克雷过程中，抽样出基分布G₀；

A2、从基分布G₀和第二聚集参数α₀构成的狄利克雷过程中，为每篇文档抽取主题词分布G_j，生成HDP模型。

进一步地，所述步骤S2中的引入自适应窗口机制的WAIHDP模型包括HDP_m子模型和HDP_d子模型；

所述HDP_m子模型用于文档建模；

所述HDP_d子模型用于根据滑动窗口算法对当前窗口进行漂移检测。

进一步地，所述步骤S3具体为：

S31、将当前待提取信息的文档划分为长度为n的文档块，并将其中的第一个文档块添加到窗口W₀中。