[发明专利]基于块坐标下降法的大数据并行优化系统及方法

说明书

本发明公开了基于块坐标下降法的大数据并行优化系统及方法。基于块坐标下降法的大数据并行优化方法，包括以下步骤：步骤S1：建立加权Lasso模型；步骤S2：利用块坐标下降法对所述加权模型进行求解；步骤S3：通过所述求解得到所述加权模型的回归系数；步骤S4：通过随机生成的稀疏向量与所述回归系数，作为基准值Xs，以对比验证求解的结果的正确性。本发明公开的基于块坐标下降法的大数据并行优化系统及方法，分布式存储的数据采用块坐标下降对数据进行并行处理，在保证求解准确性的前提下，提高运算的速度。

技术领域

本发明属于智慧城市大数据分析技术领域，具体涉及一种基于块坐标下降法的大数据并行优化方法和一种基于块坐标下降法的大数据并行优化系统。

背景技术

现代科技的快速发展带动了高维数据的广泛应用，在许多实际问题中，高维稀疏矩阵的研究处理起到了至关重要的作用。在大数据时代下，选择适合的变量建立模型是重中之重，因此多元线性回归算法显得至关重要。

Lasso(The Least Absolute Shrinkage and Selection operator)算法被证明是一种很有效的算法。这是一种压缩估计，通过构造一个惩罚函数获得一个精炼的模型，使得它压缩一些系数，同时设定一些系数为零。因此，保留了子集收缩的优点，是一种处理具有复共线性数据的有偏估计。在经典的统计估计中，我们处理的多半是大样本低维度的数据，现在则多是大样本高维度的数据。对于高维海量数据的Lasso模型求解是一个难点问题。本申请提供了加权Lasso模型的块坐标下降并行优化算法。通过将样本矩阵进行分块处理，在MPI框架下实现了该并行算法，并分析、验证了该算法的收敛性。实验结果表明，块坐标下降具有良好的并行运算性能，能够大幅度提升计算速度，同时具备良好的收敛特性。

发明内容

本发明针对现有技术的状况，克服以上缺陷，提供一种基于块坐标下降法的大数据并行优化方法和一种基于块坐标下降法的大数据并行优化系统。

本发明专利申请公开的基于块坐标下降法的大数据并行优化系统及方法，其主要目的在于，对分布式存储的数据采用块坐标下降对数据进行并行处理，在保证求解准确性的前提下，提高运算的速度。

本发明专利申请公开的基于块坐标下降法的大数据并行优化系统及方法，其另一目的在于，实现了对分布式存储数据的Lasso模型并行化求解。

本发明专利申请公开的基于块坐标下降法的大数据并行优化系统及方法，其另一目的在于，在保证最终结果的收敛性的前提下提升了设备资源利用率和运算效率。

本发明专利申请公开的基于块坐标下降法的大数据并行优化系统及方法，其另一目的在于，运用了加权Lasso模型的块坐标下降并行优化算法。

本发明专利申请公开的基于块坐标下降法的大数据并行优化系统及方法，其另一目的在于，通过将样本矩阵进行分块处理，在MPI框架下实现了该并行算法，并分析、验证了该算法的收敛性。

本发明专利申请公开的基于块坐标下降法的大数据并行优化系统及方法，其另一目的在于，块坐标下降法具有良好的并行运算性能，能够大幅度提升计算速度，同时具备良好的收敛特性。

本发明采用以下技术方案，所述基于块坐标下降法的大数据并行优化方法，包括以下步骤：

步骤S1：建立加权Lasso模型；

步骤S2：利用块坐标下降法对所述加权模型进行求解；

步骤S3：通过所述求解得到所述加权模型的回归系数；

步骤S4：通过随机生成的稀疏向量与所述回归系数，作为基准值Xs，以对比验证求解的结果的正确性。

根据上述技术方案，作为上述技术方案的进一步优选技术方案，所述加权Lasso模型通过下式确定：