[发明专利]基于参数服务器的梯度提升决策树的实现方法及相关设备

权利要求书

1.一种基于参数服务器的梯度提升决策树的实现方法，其特征在于，包括：

针对每个待处理树节点，根据自身节点的训练数据分别计算各自对应的局部梯度直方图，并将每个局部梯度直方图分成P个分块局部梯度直方图；其中，P个分块局部梯度直方图与P个参数服务器节点一一对应；

通过预设的参数服务器更新梯度直方图的接口，将每个待处理树节点的每个分块局部梯度直方图发送给对应的参数服务器节点；

通过预设的参数服务器获取最佳分裂点的接口，分别向所述P个参数服务器节点发送最佳分裂点获取请求；其中，所述参数服务器包括P个参数服务器节点，每个参数服务器节点各自存储有M/P个特征以及每个特征的梯度直方图，所述M为训练数据的特征数量，所述P为所述参数服务器包括的参数服务器节点的数量；

接收所述P个参数服务器节点分别发送的最佳分裂点的信息，得到P个最佳分裂点的信息；其中所述P个最佳分裂点为所述P个参数服务器节点通过预设的梯度提升决策树GBDT优化算法依次处理各自存储的特征的梯度直方图，计算每个特征作为分裂点时的目标函数增益，从各自存储的M/P个特征中选取目标函数增益最大的特征作为最佳分裂点；

根据所述P个最佳分裂点的信息，比较所述P个最佳分裂点的目标函数增益，并选取目标函数增益最大的分裂点作为全局最佳分裂点。

2.如权利要求1所述的方法，其特征在于，每个最佳分裂点的信息包括分裂特征、分裂特征值以及目标函数增益；

所述选取目标函数增益最大的分裂点作为全局最佳分裂点包括：

将目标函数增益最大的分裂点中的分裂特征和分裂特征值作为全局最佳分裂点。

3.如权利要求1-2任一项所述的方法，其特征在于，所述选取目标函数增益最大的分裂点作为全局最佳分裂点之后，还包括：

将所述全局最佳分裂点发送给所述参数服务器，以使所述参数服务器将所述全局最佳分裂点发送给所有的计算节点。

4.一种基于参数服务器的梯度提升决策树的实现方法，其特征在于，包括：

参数服务器节点通过预设的参数服务器更新梯度直方图的接口，接收计算节点发送的分块局部梯度直方图；其中，所述分块局部梯度直方图为所述计算节点针对每个待处理树节点，根据自身节点的训练数据分别计算各自对应的局部梯度直方图，并将每个局部梯度直方图分成P个分块的局部梯度直方图；且P个分块的局部梯度直方图与P个参数服务器节点一一对应；

所述参数服务器节点将所述分块局部梯度直方图累加到对应的全局梯度直方图上；

参数服务器节点通过预设的参数服务器获取最佳分裂点的接口，接收计算节点发送的最佳分裂点获取请求；

所述参数服务器节点根据所述最佳分裂点获取请求，通过预设的梯度提升决策树GBDT优化算法依次处理各自存储的特征的梯度直方图，计算每个特征作为分裂点时的目标函数增益，从各自存储的特征中选取目标函数增益最大的特征作为最佳分裂点；每个参数服务器节点各自存储有M/P个特征以及每个特征的梯度直方图，所述M为训练数据的特征数量，所述P为所述参数服务器包括的参数服务器节点的数量；

所述参数服务器节点将所述最佳分裂点的信息发送给所述计算节点。