[发明专利]一种分布式求解非凸正则化支持向量机的方法

权利要求书

1.一种分布式求解非凸正则化支持向量机的方法，其特征在于，包括以下步骤：

第一步，对K个处理器初始化，K个处理器分别记为processor₁、…、processor_i、…、processor_K，i∈[1,K]；K个处理器的初始化流程完全相同；对于第i个处理器processor_i，其初始化过程为：processor_i载入数据矩阵X_i和标记向量y_i，并对所有原向量w_i、b_i、z、ξ_i、s_i与对偶变量u_i、v_i进行初始化；其中ξ_i和s_i是与第i个processor相对应的松弛变量，x_i＝(x_i1,…,x_id)^T是d维特征向量，y_i∈{-1,+1}是相应的类别标记，n为自然数，K为自然数，为2的幂次；{w,b}是要求解的决策变量，w_i、b_i是与第i个processor相对应的决策变量；为变量分裂法；

第二步，K个处理器并行求解非凸正则化SVM，所有处理器求解非凸正则化SVM的流程完全相同，第i个处理器processor_i求解非凸正则化SVM的流程如下：

2.1processor_i计算ρ＝ρ₁/ρ₂，H_i＝Y_iX_i；如果n_i≥d，计算否则，计算接着对矩阵C_i执行Cholesky分解,即C_i＝L_iU_i；初始化迭代次数计数k＝0；其中，n_i是processor_i处理的数据个数，并且满足其中，ρ₁0和ρ₂0分别是与等式w_i＝z和等式对应的惩罚参数；I_d和分别代表大小为d×d和n_i×n_i的单位矩阵；如果n_i≥d，L_i和U_i是的Cholesky分解；否则，L_i和U_i是的Cholesky分解；Y_i是由标记向量y_i中元素组成的对角矩阵；H_i是引入的变量，定义为H_i＝Y_iX_i；

2.2更新对偶变量u_i，其中，“:＝”为赋值运算符，即将“:＝”右侧表达式的值赋值给“:＝”左侧的变量；

2.3计算其中，是由n_i个1组成的列向量；是定义的中间变量；是第k次迭代中第i处理器上的松弛变量；是第k次迭代中第i处理器上的对偶变量；

2.4按照公式(15)更新变量w_i；

2.5按照公式(14)更新变量b_i；

2.6计算其中，表示第k+1次迭代中向量ψ^k+1的第i个元素的值；

2.7按照公式(18)更新变量ξ_i，然后通过这一变量映射操作使得变量ξ_i的每个元素都大于等于0；其中，是由n_i个0组成的列向量；

2.8计算再把和合并在一个由数组构成的消息中；

2.9执行MPI里的AllReduce集合通信操作相加得到和

2.10按照公式计算得到然后再按照公式(17)来更新变量z；

其中，为非凸正则函数，p_λ(z_j)是包括SCAD，MCP，LSP和Capped-l₁的非凸正则函数，参数λ用于平衡数据拟合和模型的稀疏度；

2.11按照公式(19)更新变量s_i，然后通过这一映射操作使得变量s_i的每个元素都大于等于0；

2.12按照公式(12)更新对偶变量v_i；

2.13第i处理器processor_i检测是否满足终止条件，方法是：计算其中当ε的值小于10^-4时，第i处理器processor_i结束迭代过程，第i处理器processor_i停机，第i处理器进入第三步；否则，k值增1，转2.2，重新开始迭代；

第三步，当所有处理器都停机时，结束；否则，继续等待。