[发明专利]基于ADMM的不平衡大数据分布式分类方法

权利要求书

1.一种基于ADMM的不平衡大数据分布式分类方法，其特征在于，包括如下步骤：

步骤1、将不平衡的大数据集划分成n份可独立计算的小数据集，并将n份小数据集分别放入n台从机中用于每台机器的本地训练；

步骤2、从训练样本中随机选取样本，采用对偶坐标下降法对每个问题的对偶问题进行优化，计算出局部模型的局部变量w_i；所述小数据集对应一个小问题；

步骤3、将所有从机计算出的局部变量w_i发送给主机；

步骤4、主机利用从机发送来的局部变量w_i更新全局变量z；

步骤5、主机收到每个从机发来的w_i和u_i并计算出z后，将z广播给每个从机以进行下一轮计算直至满足终止条件。

2.根据权利要求1所述的基于ADMM的不平衡大数据分布式分类方法，其特征在于，步骤3等待步骤2中所有从机的局部变量w_i计算出来后，将所有的局部变量发送给主机。

3.根据权利要求1所述的基于ADMM的不平衡大数据分布式分类方法，其特征在于，步骤5中主机将全局变量广播给所有从机后重复步骤2至步骤4直至满足终止条件。

4.根据权利要求1所述的基于ADMM的不平衡大数据分布式分类方法，其特征在于，步骤1将问题划分为多个可并行计算的子问题后，用如下的函数表示：

s.t.w_i＝z，i＝1，2，…，n；

其中，z为全局变量，w_i为局部变量，C＞0，是一个超参数；C_-和C₊分别是多数类和少数类的误分类参数；假设数据来自n台机器，那么可以表示为(D1，D2，…，Dn)；另外ξ_j＝max{0，1-y_jw^Tx_j}表示样本j的损失，其中y_j为1或-1，w^T表示权重向量，x_j表示样本j，

为简单起见，(1)式可改写为：

s.t.w_i＝z，i＝1，2，…，n

其中，f_i(w_i)是数据集D_i的总共损失。

5.根据权利要求1所述的基于ADMM的不平衡大数据分布式分类方法，其特征在于，将原函数(2)改写成增广拉格朗日形式即原问题的对偶问题：

其中，λ_i≥0为对偶变量；之后得到(3)式的标准形式：

这里u_i＝λ_i/ρ，ρ为惩罚系数；

使用soft-margin CSSVM，则原始问题的对偶形式为：

s.t.0≤α_j≤C_j，j＝1，…，s，

其中，C_j为样本j损失的惩罚系数，b_i＝[1-y1viTx1，...，1-ysviTxsT；

使用随机对偶坐标下降法优化每个单机的上述问题，可计算得到：

在随机对偶坐标下降法，至的更新是通过固定其它变量来得到的；因此，(6)式问题在每次内迭代中可表达成单变量问题；通过将投射进区间[0，C_j]，得到投影偏导于是的更新可表达为：

之后，可更新为：

已经得证局部变量的松弛形式可以加速算法收敛，所以可将局部变量的更新再变为：

6.根据权利要求1所述的基于ADMM的不平衡大数据分布式分类方法，其特征在于，步骤4、主机综合各从机的局部模型变量计算全局模型变量z并下发各从机，z^k+1的更新公式如下：

由于函数是关于z的二次函数，同时也是一个凸函数，所以z有一个封闭解：

之后，需要更新对偶变量公式如下：