[发明专利]基于并行投影方法的L1正则化核学习机的分布式训练方法

说明书

基于并行投影方法的L1正则化核学习机的分布式训练方法，属于无线传感器网络中数据融合技术领域。本发明针对无线传感器网络下已有核学习机训练方法存在的高通信代价问题，在节点本地模型与邻居节点间的局部最优模型相一致的约束下，利用并行投影方法构建和求解基于L1正则化的核学习机的分布式训练优化问题，利用交替方向乘子法对节点本地的L1正则化核学习机优化问题进行稀疏模型求解；仅依靠相邻节点间传输稀疏模型的方式进行协作以进一步优化节点局部模型；当各节点收敛到局部稳定模型后，利用平均一致性算法实现各节点模型的全局一致。

技术领域

本发明涉及一种基于并行投影方法的L1正则化核学习机的分布式训练方法，具体是一种针对无线传感器网络环境的L1正则化核最小平方误差学习机的分布式训练方法，可以用于无线传感器网络应用中基于核函数的分类器和回归机的训练，属于无线传感器网络中数据融合技术领域。

背景技术

无线传感器网络(Wireless SensorNetwork,WSN)中，数据融合技术是降低网络数据通信量、节省节点能耗和延长网络寿命的重要措施之一。机器学习方法作为决策级融合的重要方法之一，在WSN中得到了日益广泛的重视和应用。然而，在WSN中，训练数据都分散在各传感器节点上；通过多跳路由将所有训练数据传输到数据融合中心进行集中式训练，将会占用大量的带宽且消耗节点的大量能量，这与WSN上节点能源替换代价非常高甚至不可替换、带宽资源非常有限相冲突，同时也容易使数据中心周围的节点成为整个系统的瓶颈。针对上述问题，通过相邻节点间的相互协作，利用节点本身的计算能力，在网内分布式协同训练分类器和回归机的方法已经引起了众多学者的研究和关注。核方法或称核学习机(基于核函数机器学习方法的简称)，因统计学习理论和支持向量机(Support VectorMachine,SVM)的成功应用而受到广泛关注和研究，现已成为机器学习的主流方法。核方法因其在解决非线性问题上的绝对优势，已在许多实际应用领域中表现出非常出色的技术性能。但核方法是依赖训练数据的，即利用核方法对未知数据进行分类或回归预测时，会依赖参与模型训练的训练数据。因此，在训练数据分散、节点能量和带宽资源非常有限的WSN下，研究仅依赖相邻节点间的协作，在网内分布式协同训练核学习机的方法对减少通信代价、延长网络生命周期以及核学习机的分布式学习理论研究都具有极其重要的意义。

针对WSN特点，已开展的核学习机的分布式训练方法研究可归纳为基于拓扑结构或构建链路结构、基于共享数据一致、基于支持向量增量训练三种研究思路。基于网络拓扑或构建链路结构的典型研究有:英特尔伯克利实验室的Guestrin C.等人和希腊克里特大学的Flouri.K等人；该研究思路需要关联、构建和维护特定的链路结构，在通信链路不稳定、网络拓扑动态变化的无线传感器网络下其维护代价非常高、计算也非常复杂且不具普适性。典型的基于共享数据一致的研究主要有:普林斯顿大学的Predd J.B.等人和美国明尼苏达大学的Forero P.A等人；基于该思路的研究需要节点间有共享训练数据，算法的收敛性、收敛速度及通信代价受共享训练数据量及其分布特点的影响很大，算法的普适性和实用性都不强。基于支持向量增量训练的研究思路是专门针对SVM核学习机分布式训练方法的研究，主要利用了SVM的模型只与少量支撑向量相关的特性；该思路的典型研究包括:希腊克里特大学的Flouri.K等人和Yahoo公司的YumaoLu等人；基于该思路的研究由于SVM的稀疏性由其特殊的Hinge损失函数决定，已有的SVM分布式训练算法仍存在通信代价大的问题，而且SVM的分布式训练算法对其他核方法也不具有普适性。