[发明专利]基于ALMM的L1正则化核学习机的分布式训练方法

摘要

基于ALMM的L1正则化核学习机的分布式训练方法，属于无线传感器网络中数据融合技术领域，涉及一种核学习机的分布式训练方法。本发明利用增广拉格朗日乘子方法构建和求解基于L1正则化的核学习机的分布式训练优化问题，提出以相邻节点间的局部最优模型近似全局最优模型的优化求解方法，即在节点本地模型与邻居节点间的局部最优模型相一致的约束下，利用ALMM构建和求解基于L1正则化的核学习机的分布式训练优化问题，利用ADMM对节点本地的L1正则化核学习机训练优化问题进行稀疏模型求解，仅依靠相邻节点间传输稀疏模型的方式进行协作，以进一步优化节点局部模型，直至各节点模型收敛。

主权项

1.基于ALMM的L1正则化核学习机的分布式训练方法，本方法在核学习机训练过程中包括三个重要机制；机制1：节点本地核学习机优化问题求解方法；在节点本地模型与邻居节点间的局部最优模型相一致的约束下，利用增广拉格朗日乘子方法构建和求解基于L1正则化的KMSE的分布式训练优化问题；机制2：节点本地稀疏模型求解；利用交替方向乘子法对节点本地的L1正则化KMSE训练优化问题进行稀疏模型求解；机制3：邻居节点间的协作机制；为求解邻居节点间的局部最优模型、加快节点本地模型收敛和减少节点间数据传输量，相邻节点间以传输稀疏模型的方式进行协作，并将接收到的稀疏模型中携带的样本信息加入到本地样本集；基于机制1、机制2和机制3的L1正则化KMSE的分布式训练方法有四个阶段，分别是：1.节点本地初始化；2.节点本地稀疏模型求解和发送；3.节点接收邻居节点发送过来的稀疏模型，计算局部最优模型预测值，和本地乘子变量结果值；4.节点本地模型收敛条件判定；基于ALMM的L1正则化核学习机的分布式训练方法，其是在以下前提条件下进行的：a.网络中每个节点都有唯一的ID号；b.网络结构稳定且连通；c.网络中各节点仅与其单跳邻居节点通信；d.网络中各节点使用相同的核函数、相同的核参数值和正则系数；其特征在于：该L1正则化核学习机的分布式训练方法的步骤如下：步骤1：节点本地关键参数初始化和本地训练样本数据预处理步骤1.1：各节点初始化网络规模J、邻居节点集合B_j、本地训练样本集合S_j:＝{(x_jn,y_jn),n＝{1,2,…,N_j}},确定核函数k(x_i,x_j)并初始化核参数σ和正则系数λ；其中，Bj是由节点j及其邻居节点构成的集合；xjn∈Rp是节点j的第n个训练样本jn的特征向量，R为实数集合，p为实数特征向量维数，yjn∈Y:＝{1,‑1}是训练样本jn对应的类别标签，Nj是训练样本数量；k(xi,xj)中xi和xj是两个训练样本，其作用是计算两个训练样本之间的距离，核参数σ是核函数中的一个常量参数，正则系数λ是L1正则项的一个常量参数，用于调节正则项在整个损失中的比例；步骤1.2：各节点利用y＝(x‑xmin)/(xmax‑xmin)将本地训练样本的特征信息归一化到[0，1]区间；各节点为归一后的训练样本增加标识字段node_ID和example_ID以唯一标识每个训练样本，增加发送标识字段is_sended标识该样本是否已经发送过，以避免重复发送；其中，x为训练样本的某一个特征信息，xmax和xmin分别为训练样本该特征信息的最大值和最小值，y为训练样本特征信息x归一处理后的结果；步骤2：节点本地稀疏模型求解和发送步骤2.1：各节点在本地模型和邻居节点间的局部最优模型相一致约束下，利用ALMM构建和求解基于L1正则化的KMSE的分布式训练优化问题，构建的优化问题形式如式(1)，相应的求解迭代形式如式(2)‑式(4)；在式(1)‑式(4)中，f_j(x_jn)是节点j的本地模型对本地第n个样本的预测值，为节点j及其邻居节点间的局部最优模型对节点j上第n个样本的预测值；式(1)和式(2)中，λ||f_j||₁是对本地模型的L1正则化项，用于本地模型的稀疏求解；式(2)‑式(4)中，p_j^k(x_jn)是约束的乘子变量，c为一个正常数，是约束的增广系数；式(3)中，Num(B_j)是包括j在内的邻居节点数量；步骤2.2：各节点利用核函数k(xi,xj)对本地归一化后的训练样本进行核矩阵计算和增广，得到增广矩阵Kj；步骤2.3：各节点再次利用ADMM对式(2)的优化问题进行稀疏模型求解，对应的优化问题形式如式(5)，求解迭代形式如式(6)‑式(8)；zjk+1:＝Sλ/ρ(αjk+1+ujk)     (7)ujk+1:＝ujk+αjk+1‑zjk+1     (8)在式(5)和式(6)中，Kj是本地训练样本的增广核矩阵，Yj本地训练样本的类别标签向量，I为本地样本量加1，即Nj+1维的单位矩阵，αj是要求解的本地训练样本的权重向量，zj是利用ADMM增加的辅助向量，辅助αj求解；在式(6)‑式(8)中，ρ是约束αj‑zj＝0的增广系数，是一个正常数，uj为约束αj‑zj＝0的乘子向量，Sλ/ρ()为软阈值操作函数，其定义如式(9)，步骤2.4：将解αjk+1中非零项和对应的样本信息提取出来作为节点j∈J本地的稀疏模型，如式(10)所示：步骤2.5：节点整理本地稀疏模型，如果稀疏模型中训练样本的is_sended字段为0，表示该样本还没有被发送过，此时需要将该训练样本的原始特征信息保留在模型中；如果is_sended字段为1，代表该训练样本的原始特征信息已经发送过，此时只将该样本的标识字段信息保留在模型中；步骤2.6：节点将本地整理好的稀疏模型发送给其单跳邻居节点Bj；步骤3：节点接收邻居节点发送过来的稀疏模型，计算局部最优模型预测值和本地乘子变量结果值步骤3.1：节点j∈J接收邻居节点发送过来的稀疏模型fik+1(xi),i∈Bj，并将每个稀疏模型中携带的样本信息不重复的加入到本地训练样本集；步骤3.2：节点j∈J利用接收到的各稀疏模型对本地训练样本进行预测，利用ALMM求解局部最优模型预测值公式式(3)，求出本地训练样本的局部最优模型预测值步骤3.3：节点j∈J本地利用ALMM求解乘子变量公式式(4)，求出节点本地乘子变量结果值pjk+1(xj)；步骤4：节点本地模型收敛条件判定步骤4.1：节点本地判断模型是否满足收敛条件，收敛条件为节点本地样本集稳定并且节点前后两次得到的模型相同；当所有节点都满足收敛条件时，执行步骤4.3，否则转步骤4.2；步骤4.2：节点本地按照阶段2、阶段3的顺序进行优化求解；步骤4.3：节点模型收敛fj*(xj)，结束优化求解过程；最终通过相邻节点间的协作就使每个节点得到与集中训练方式相当的预测效果，且得到比集中训练方式更为稀疏的预测模型，最重要的是可以显著降低核学习机训练过程中的数据通信代价。