[发明专利]一种高斯图模型结构估计的分布式并行优化方法

说明书

技术领域

本发明涉及一种高斯图模型结构估计的分布式并行优化方法。

背景技术

图模型是统计机器学习领域广泛采用的模型之一。图模型利用节点和边组成的图形来表示概率分布，在概率论与图论之间建立起了联系，可用于描述自然界和人类社会中的大量随机因素之间的联系。它提供了一种统计分析工具来处理科学与工程中普遍存在的不确定性和复杂性问题。高维和复杂结构数据下的图模型学习是当前图模型研究的热点和难点问题，具有很高的研究和应用价值。高斯图模型是一种基于高斯分布假设的无向图模型，在机器学习、数据挖掘、生物医学等领域都有很广泛的应用。

在高斯图模型结构估计的方法中，有几个比较具有代表性的工作。其中一种是邻域选择的思想。邻域选择思想由Meinshausen提出，高斯图模型的任何一个给定变量可以由其它少量变量预测得到。这一假设意味着图是稀疏的，并且样本协方差矩阵的逆阵，即精度矩阵也是稀疏的。这种稀疏性也使得基于高维随机变量的高斯图模型学习有了理论上的保证。因此，近年来许多稀疏高斯图模型(即稀疏精度矩阵)的估计方法被提出。Lam和Rothman等人提出了基于稀疏范数惩罚的最大似然估计方法。Cai等人提出带l₁范数约束的最小化方法来估计稀疏矩阵。Yuan等人则通过线性规划的方式求解精度矩阵。Meinshausen等人提出对每个随机变量采用Lasso模型进行近邻选择，实现高斯图模型的稀疏结构估计。另一种是Graphical Lasso算法。Graphical Lasso的算法由Friedman等人于2007年提出，通过最大似然估计的方式来实现对精度矩阵的估计，并通过增加l₁正则项来控制精度矩阵的稀疏度。在此基础上，C.-J.Hsieh，R.Mazumde，X.M.Yuan等人提出了多种有效的方法对Graphical Lasso目标函数进行求解，实现对精度矩阵的估计；还有一些研究者从原目标函数的对偶形式入手，完成目标函数的求解。

上述工作中，研究者们都是基于独立运算系统提出的算法。随着大数据时代的来临，数据收集和挖掘的能力不断提升，我们可以获得的数据量急剧增加。当样本量或者样本特征数量提高到一定程度时，以现有的硬件条件，许多数据挖掘、统计和优化算法无法有效地进行大数据的处理。

发明内容

本发明的目的是提供一种高斯图模型结构估计的分布式并行优化方法，解决数据挖掘、统计和优化算法无法有效地进行大数据的处理的技术问题

为解决上述技术问题，本发明所采用的技术方案为：一种高斯图模型结构估计的分布式并行优化方法，包括如下步骤：

步骤一：将样本矩阵按列分割成h个子矩阵，分别存储于h个计算节点上；

步骤二：选择一个子矩阵，从中取一列记作Y；将该子矩阵中的剩余列和其它子矩阵构成A；利用分布式坐标下降法对Lasso模型进行求解；

步骤三：使Y遍历所有子矩阵，同时对p个Lasso模型并行求解，即可得到输出矩阵；其中：p表示样本矩阵的随机变量数；

步骤四：将输出矩阵对称化，得到最终的输出矩阵，最终的输出矩阵与样本矩阵的高斯图模型具有相同的结构。

利用分布式坐标下降法对Lasso模型进行求解的具体方法如下：

当一个计算节点在进行坐标更新的时，当前计算节点根据本地数据对本机需要维护的随机变量的坐标进行更新；此时，其它计算节点不对本组数据的其他坐标进行更新；当一个计算节点完成本机所有随机变量的坐标更新后，将这些坐标传递给下一计算节点，完成后续操作。

坐标每次迭代更新的公式如下：

其中，x表示随机变量对应的回归系数，A^*＝A^TA，表示A^*的第i行向量，表示A^*的第i行、第i列所对应的元素，b＝-Y^TA，k表示当前迭代次数，λ表示正则化惩罚项系数。

坐标传递给下一台计算节点时，仅传递(A₁·m^(k)+A₂·n^(k))部分；

其中：A＝(A₁ A₂),A₁表示计算节点1的数据矩阵，A₂表示计算节点2的数据矩阵，m表示计算节点1上的对应随机变量的坐标，n表示计算节点2上的对应随机变量的坐标。