[发明专利]一种分布式求解非凸正则化支持向量机的方法

摘要

本发明涉及机器学习领域，针对现有技术只能串行求解非凸正则化SVM导致处理速度过慢的技术问题，本发明提供一种分布式求解非凸正则化SVM的方法，包括以下步骤：第一步，对K个处理器初始化，K个处理器的初始化流程完全相同；对于第i个处理器processori，其初始化过程为：processori载入数据矩阵Xi和标记向量yi，并对所有原向量wi、bi、z、ξi、si与对偶变量ui、vi进行初始化；第二步，K个处理器并行求解非凸正则化SVM，所有处理器求解非凸正则化SVM的流程完全相同；第三步，当所有处理器都停机时，结束；否则，继续等待。本发明具有较低的通信开销和较强的可扩展性，能够实现对大规模非凸正则化SVM问题的分布式求解。

主权项

1.一种分布式求解非凸正则化支持向量机的方法，其特征在于，包括以下步骤：第一步，对K个处理器初始化，K个处理器分别记为processor₁、…、processor_i、…、processor_K，i∈[1,K]；K个处理器的初始化流程完全相同；对于第i个处理器processor_i，其初始化过程为：processor_i载入数据矩阵X_i和标记向量y_i，并对所有原向量w_i、b_i、z、ξ_i、s_i与对偶变量u_i、v_i进行初始化；其中ξ_i和s_i是与第i个processor相对应的松弛变量，x_i＝(x_i1,...,x_id)^T是d维特征向量，y_i∈{‑1,+1}是相应的类别标记，n为自然数，K为自然数，一般为2的幂次；第二步，K个处理器并行求解非凸正则化SVM，所有处理器求解非凸正则化SVM的流程完全相同，第i个处理器processori求解非凸正则化SVM的流程如下：2.1 processor_i计算ρ＝ρ₁/ρ₂，H_i＝Y_iX_i；如果n_i≥d，计算否则，计算接着对矩阵C_i执行Cholesky分解,即C_i＝L_iU_i；初始化迭代次数计数k＝0；其中，n_i是processor i处理的数据个数，并且满足2.2更新对偶变量u_i，其中，“:＝”为赋值运算符，即将“:＝”右侧表达式的值赋值给“:＝”左侧的变量；2.3计算2.4按照公式(15)更新变量wi；2.5按照公式(14)更新变量bi；2.6计算2.7按照公式(18)更新变量ξ_i，然后通过这一变量映射操作使得变量ξ_i的每个元素都大于等于0；2.8计算再把和合并在一个由数组构成的消息中；2.9执行MPI里的AllReduce集合通信操作相加得到和2.10按照公式计算得到然后再按照公式(17)来更新变量z；2.11按照公式(19)更新变量s_i，然后通过这一映射操作使得变量s_i的每个元素都大于等于0；2.12按照公式(12)更新对偶变量vi；2.13第i处理器processor_i检测是否满足终止条件，方法是：计算其中当ε的值小于10^‑4时，第i处理器processor_i结束迭代过程，第i处理器processor_i停机，第i处理器进入第三步；否则，k值增1，转2.2，重新开始迭代；第三步，当所有处理器都停机时，结束；否则，继续等待。