[发明专利]一种基于参数服务器异步更新Spark MLlib中线性分类模型参数的方法

说明书

本发明公开了一种基于参数服务器异步更新Spark MLlib中线性分类模型参数的方法,结合Spark和参数服务器的特征，首先设置和分配Spark和参数服务器启动资源，然后启动服务器应用程序和Spark应用程序来执行相关操作。在服务器应用程序中，首先初始化执行环境和相关参数，然后接收来自Spark应用程序中Executor计算的梯度信息来更新模型参数。本发明通过引入参数服务器的方式，将线性分类模型参数划分到不同的服务节点中，并通过设置时钟的方式实现异步传输，服务节点只需获取部分工作节点的梯度信息即可对模型参数进行更新。本发明通过添加服务器节点来减轻Spark中Driver节点的计算负载，并通过异步传输方式来降低集群中慢节点对算法性能的影响。

技术领域

本发明提出了一种基于参数服务器异步更新Spark MLlib中线性分类模型参数的方法，涉及机器学习、分布式计算，属于计算机技术领域。

背景技术

Spark是基于内存计算的开源集群计算系统(Zaharia M,Chowdhury M,FranklinM J,et al.Spark:Cluster computing with working Sets[C]//Usenix Conference onHot Topics in Cloud Computing.2010)，由Scala语言开发完成，与Hadoop一样，也是基于MapReduce编程模型实现分布式计算，但是Spark利用内存作为缓存来实现不同阶段的数据共享，不必重复读取HDFS，所以Spark相比于Hadoop能更快速地进行大数据分析。

近年来，Spark已形成了以Spark Core为核心的生态圈。从HDFS或者HBase等持久层读取数据，以YARN、Mesos或者自身携带的Standalone作为资源管理器调度Job任务。从物理部署层面来说它分为两类节点：Master节点和Worker节点。Master节点主要负责集群的中心化管理，将Spark任务分配到Worker节点，维护Worker节点以及管理Spark应用的状态，Worker节点则负责具体的任务。从运行角度来说，执行进程可分为Driver驱动器进程和Executor执行器进程。在YARN作为资源管理器的情况下，Driver进程负责任务的调度工作和收集工作节点处理的结果并执行处理逻辑，工作节点则执行Executor中的Task。