[发明专利]基于参数服务器的梯度提升决策树的实现方法及相关设备

说明书

本发明公开了一种基于参数服务器的梯度提升决策树的实现方法，包括：通过预设的参数服务器获取最佳分裂点的接口，分别向P个参数服务器节点发送最佳分裂点获取请求；其中，参数服务器包括P个参数服务器节点，每个参数服务器节点各自存储有M/P个特征；接收P个参数服务器节点分别发送的最佳分裂点的信息，得到P个最佳分裂点的信息；其中P个最佳分裂点为P个参数服务器节点通过预设的GBDT优化算法从各自存储的M/P个特征中计算出的最佳分裂点；比较P个最佳分裂点的目标函数增益，并选取目标函数增益最大的分裂点作为全局最佳分裂点。本发明还公开了一种计算节点设备、参数服务器节点设备和基于参数服务器的梯度提升决策树的实现系统。

技术领域

本发明涉及计算机领域，尤其涉及基于参数服务器的梯度提升决策树的实现方法、计算节点设备、参数服务器节点、参数服务器以及基于参数服务器的梯度提升决策树的实现系统。

背景技术

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。近年来，机器学习已经有了十分广泛的应用，例如：数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、脱氧核糖核酸(Deoxyribonucleic acid，DNA)序列测序、语音和手写识别、战略游戏和机器人运用。

在当前的大数据时代，单个机器已经远远无法满足存储和计算需求，因此分布式机器学习技术的重要性日益显现。现有的大规模数据集常常是高维数据集，每个训练数据有多达百万甚至数亿的特征，在分布式环境下处理高维数据集，带来的通信开销很大，对分布式机器学习系统带来挑战。

发明内容

本发明实施例所要解决的技术问题在于，提供基于参数服务器的梯度提升决策树的实现方法、计算节点设备、参数服务器节点、参数服务器以及基于参数服务器的梯度提升决策树的实现系统，解决现有技术中在处理大维度训练数据时存在的单点瓶颈问题增量融合逻辑复杂，并大大减少通信开销。

为了解决上述技术问题，本发明实施例第一方面公开了一种基于参数服务器的梯度提升决策树的实现方法，包括：

通过预设的参数服务器获取最佳分裂点的接口，分别向P个参数服务器节点发送最佳分裂点获取请求；其中，所述参数服务器包括P个参数服务器节点，每个参数服务器节点各自存储有M/P个特征，所述M为训练数据的特征数量；

接收所述P个参数服务器节点分别发送的最佳分裂点的信息，得到P个最佳分裂点的信息；其中所述P个最佳分裂点为所述P个参数服务器节点通过预设的梯度提升决策树GBDT优化算法从各自存储的M/P个特征中计算出的最佳分裂点；

根据所述P个最佳分裂点的信息，比较所述P个最佳分裂点的目标函数增益，并选取目标函数增益最大的分裂点作为全局最佳分裂点。

本发明实施例第二方面公开了一种基于参数服务器的梯度提升决策树的实现方法，包括：

参数服务器节点通过预设的参数服务器获取最佳分裂点的接口，接收计算节点发送的最佳分裂点获取请求；

所述参数服务器节点根据所述最佳分裂点获取请求，通过预设的梯度提升决策树GBDT优化算法从存储的M/P个特征中计算出最佳分裂点；所述M为训练数据的特征数量，所述P为所述参数服务器包括的参数服务器节点的数量；

所述参数服务器节点将所述最佳分裂点的信息发送给所述计算节点。

本发明实施例第三方面公开了一种计算节点设备，包括处理器、存储器、输入模块和输出模块，所述存储器存储多条指令，所述指令由所述处理器加载并执行：