[发明专利]基于在HDP模型中引入自适应窗口的文档主题提取方法

权利要求书

1.基于在HDP模型中引入自适应窗口的文档主题提取方法，其特征在于，包括以下步骤：

S1、基于待提取信息的文档生成初始HDP模型；

S2、在生成的初始HDP模型中引入自适应窗口机制，构建AWIHDP模型；

S3、将当前待提取信息的文本输入到当前AWIHDP模型中，并对其进行更新；

S4、判断是否有新的待提取信息文本到达；

若是，则返回步骤S3；

若否，则进入步骤S5；

S5、将当前AWIHDP模型提取到所有文本的主题词分布作为文档主题提取结果；

所述步骤S1具体为：

A1、从基分布H和第一聚集参数γ构成的狄利克雷过程中，抽样出基分布G₀；

A2、从基分布G₀和第二聚集参数α₀构成的狄利克雷过程中，为每篇文档抽取主题词分布G_j，生成HDP模型；

所述步骤S2中的引入自适应窗口机制的WAIHDP模型包括HDP_m子模型和HDP_d子模型；

所述HDP_m子模型用于文档建模；

所述HDP_d子模型用于根据滑动窗口算法对当前窗口进行漂移检测；

所述步骤S3具体为：

S31、将当前待提取信息的文档划分为长度为n的文档块，并将其中的第一个文档块添加到窗口W₀中；

S32、将当前窗口滑动至下一文档块，通过HDP_m子模型计算当前窗口W_i中文档数据分布变化，并通过HDP_d子模型判断当前窗口是否发生主题漂移；

其中，下标i＝1,2,…；

若是，则进入步骤S33；

若否，则进入步骤S37；

S33、将当前窗口平均分割为W_i1和W_i2，并使用HDP_m子模型分别计算窗口W_i1和窗口W_i2中的文档数据分布变化，然后通过HDP_d子模型判断窗口W_i1和窗口W_i2发生主题漂移的情况；

若仅窗口W_i1发生主题漂移，则进入步骤S34；

若仅窗口W_i2发生主题漂移，则进入步骤S35；

若窗口W_i1和窗口W_i2皆发生主题漂移，则进入步骤S36；

S34、根据窗口W_i1中的文档，基于HDP算法重新生成HDP模型，并进入步骤S38；

S35、将窗口W_i1和窗口W_i-1合并，根据新窗口中的文档，基于HDP算法更新HDP_m子模型，然后根据窗口W_i2中的文档，基于HDP算法重新生成HDP模型，并进入步骤S38；

S36、根据窗口W_i中的文档，基于HDP算法重新生成HDP模型，并进入步骤S38；

S37、将窗口W_i和窗口W_i-1合并，根据新窗口中的文档，基于HDP算法更新HDP_m子模型，并进入步骤S38；

S38、通过更新得到的HDP_m子模型或重新生成的HDP模型，实现对AWIHDP模型的更新；

S39、重复步骤S32～S38，当待检测文档全部训练完成后，迭代结束，完成对当前AWIHDP模型的更新。