[发明专利]一种基于交替乘子法的分布式大数据分类系统及方法

摘要

本发明公开了一种基于交替乘子法的分布式大数据分类系统及方法，其系统包括采样模块、随机特征映射模块和分布式线性支持向量机模块，其中：采样模块，对数据进行均匀无放回采样；随机特征映射模块，实现训练数据和预测数据的随机特征映射；分布式线性支持向量机模块，通过将数据分成若干部分，每个部分作为一个子问题进行训练，在每个子问题上加上一致性约束，通过子问题和中心节点的通信，使得子问题解保持一致。与现有技术相比，在预测准确率相当的情况下，本发明明显快于传统的支持向量机软件LIBSVM，从而可以更高效的进行大数据的分类。

主权项

一种基于交替乘子法的分布式大数据分类系统，其特征在于，该系统包括采样模块、随机特征映射模块和分布式线性支持向量机模块，其中：采样模块，对数据进行均匀无放回采样，即：将n个数据进行标号并且按照标号从小到大排列到一标号数组中，对该标号数组做一个随机的置换，将置换后的数组前l个作为所采取的样本；随机特征映射模块，实现训练数据和预测数据的随机特征映射，即：输入所需的近似高斯核参数σ和需要进行特征映射的训练数据和预测数据；从w的分布中采样出D个不同的{w₁...w_D}，将{w₁...w_D}存入文本文件中；对训练数据和预测数据用上述采样出的{w₁...w_D}按照公式(1)进行随机特征映射；其中，w为所求向量，w^T表示w的转置，x为原始样本，将随机特征映射后的结果存于文本文件中；分布式线性支持向量机模块，通过将数据分成若干部分，每个部分作为一个子问题进行训练，在每个子问题上加上一致性约束，通过子问题和中心节点的通信，使得子问题解保持一致。