[发明专利]一种LDA并行优化方法

权利要求书

1.一种LDA并行优化方法，其特征是：

(1)将文档集X均匀划分到P台处理器上；

(2)初始化计数，将相关计数n_m^(k)，n_k^(t)，n_m，n_k初始化置为0，将文档块中每篇文档中的每一个词随机赋予一个主题编号k；

(3)设置模型迭代次数，在模型每次迭代过程中

(4)对于每台处理器分别执行下述步骤；

(5)全局参数复制给局部参数：

(6)采用基于高斯函数的词加权方法对文档集中的词赋予一个权重值，使用吉布斯采样公式更新本地相关统计计数n_m^(k)，n_k^(t)，n_m，n_k；

(7)循环结束；

(8)等待所有处理器达到同步；

(9)更新全局参数

(10)直至达到终止条件，输出模型参数：文档-主题概率分布θ_m,k和主题-词概率分布

2.根据权利要求1所述的LDA并行优化方法，其特征是：所述采用基于高斯函数的词加权方法对文档集中的词赋予一个权重值具体包括：

(1)初始化吉布斯采样中的计数为0；

(2)M为文档集中文档的数量，对于每篇文档编号m∈[1,M]；

(3)N_m为第m篇文档中词的个数，对于每篇文档中第n∈[1,N_m]个词w_m,n＝w_i；

(4)为每个词随机采样赋予一个主题编号z_m,n∈[1,K]，K为设定的主题数；

(5)计数n_m^(k)加上词w_m,n对应的权重其中

(6)计数n_m加上词w_mn对应的权重其中

(7)计数n_k^(t)加上词w_m,n对应的权重其中

(8)计数n_k加上词w_m,n对应的权重其中

(9)初始化过程结束；

(10)计数n_m^(k)减去词w_m,n对应的权重

(11)计数n_m减去词w_m,n对应的权重

(12)计数n_k^(t)减去词w_m,n对应的权重

(13)计数n_k减去每词w_m,n对应的权重

(14)采样得到词w_m,n在每个主题k∈[1,K]上的概率分布；

(15)根据采样公式进行采样；

(16)计数n_m^(k)加上词w_m,n对应的权重其中

(17)计数n_m加上词w_m,n对应的权重其中

(18)计数n_k^(t)加上词w_m,n对应的权重其中

(19)计数n_k加上词w_m,n对应的权重其中

(20)直至达到结束条件，输出N_wk。