[发明专利]一种基于并行化主成分分析算法的数据降维方法

摘要

本发明公开了一种基于并行化主成分分析算法的数据降维方法，包括步骤S1把待降维的高维数据构造成样本数据矩阵Dn×m；S2计算所述样本数据矩阵Dn×m的协方差矩阵Cm×m；S3计算所述协方差矩阵Cm×m的m个特征值和对应的m个特征向量；S4根据所述特征值和特征向量确定主成分数量k；S5利用前k大特征值对应的特征向量构造变换矩阵，利用变换矩阵计算主成分矩阵，所述主成分矩阵即是降维后的数据。本发明克服了传统单机主成分分析算法的由于数据规模太大而无法一次加载到内存的问题，并减少了I/O操作，提高了数据降维的处理效率。

主权项

一种基于并行化主成分分析算法的数据降维方法，包括步骤：S1：把待降维的高维数据构造成样本数据矩阵Dn×m；S2：计算所述样本数据矩阵Dn×m的协方差矩阵Cm×m；S3：计算所述协方差矩阵Cm×m的m个特征值和对应的m个特征向量；S4：根据所述特征值和特征向量确定主成分数量k；S5：利用前k大特征值对应的特征向量构造变换矩阵TransMat，利用变换矩阵计算主成分矩阵，所述主成分矩阵即是降维后的数据；其特征在于，所述协方差矩阵Cm×m的计算，包括以下子步骤：S21：分配N个映射函数Mapper；S22：分配一个归约函数Reducer，所述Reducer的输入是所述每个Mapper的输出结果；S23：将所述Reducer的汇总结果代入协方差矩阵计算公式。