[发明专利]一种基于MPI计算框架的并行PLSA方法

摘要

本发明涉及一种基于MPI计算框架的并行PLSA方法，其在每次并行迭代时无需进行读写硬盘的操作，而且从主题维度多机并行，因此能够加快并行PLSA方法的执行速度。

主权项

一种基于MPI计算框架的并行PLSA算法，其特征在于：包括以下步骤：S1.输入词频矩阵；S2.MPI计算框架环境初始化；S3.初始化MPI计算框架的执行环境并标识MPI计算框架的各个进程；S4.MPI计算框架的各个子进程读入词频矩阵；S5.MPI计算框架的主进程初始化初始概率矩阵P(d|z)、P(w|z)和p(z)，并将这三个矩阵的数据广播到不同的子进程中；其中P(d|z)表示给定主题z下文档d的概率，P(w|z)表示给定主题z下单词w的概率，P(z)表示主题z的概率；S6.MPI计算框架的主进程计算P(d，w)并广播给所有子进程，P(d,w)表示文档d和单词w的联合概率；S7.各个子进程根据其所读入词频矩阵的主题分别计算后验概率P(z|d,w)，然后更新其所读入词频矩阵的主题z的p(d|z)、p(w|z)、p(z)；S8.各个子进程将其更新的p(d|z)、p(w|z)、p(z)发送给主进程，主进程更新整体的p(d|z)、p(w|z)、p(z)；S9.根据似然函数的计算公式计算出当前迭代中的p(d|z)、p(w|z)、p(z)然后计算似然函数值，并判断是否满足迭代终止条件，若是则输出p(d|z)、p(w|z)、p(z)，否则重复执行步骤S6～S9。