[发明专利]一种基于梯度提升决策树的模型训练方法及装置

说明书

公开了一种基于梯度提升决策树的模型训练方法及装置。将一个GBDT算法流程划分为两个阶段，在前一阶段，从与目标业务场景相近的业务场景的数据域获取已标注样本依次训练若干决策树，并确定经过前一阶段训练后产生的训练残差；在后一阶段，从目标业务场景的数据域获取已标注样本，并基于所述训练残差，继续训练若干决策树。最终，应用于目标业务场景的模型实际上是由前一阶段训练出的决策树与后一阶段训练出的决策树集成得到的。

技术领域

本说明书实施例涉及信息技术领域，尤其涉及一种基于梯度提升决策树的模型训练方法及装置。

背景技术

众所周知，当需要训练应用于某个业务场景的预测模型时，通常需要从该业务场景的数据域获取大量数据进行标注，作为已标注样本，进行模型训练。如果已标注样本的数量较少，则通常无法得到效果合格的模型。需要说明的是，某个业务场景的数据域，实际上是基于该业务场景所产生的业务数据的集合。

然而，实践中，某些特殊业务场景下积累的数据较少。这导致当需要训练应用于某个特殊业务场景的模型时，无法从该特殊业务场景的数据域获取足够的已标注样本，从而无法得到效果合格的模型。

发明内容

为了解决某些特殊业务场景下积累的数据较少导致无法训练出效果合格的模型的问题，本说明书实施例提供一种基于梯度提升决策树的模型训练方法及装置，技术方案如下：

根据本说明书实施例的第1方面，提供一种基于梯度提升决策树的模型训练方法，用于训练应用于目标业务场景的目标模型，所述方法包括：

获取第一样本集合；所述第一样本集合是从源业务场景的数据域获取的已标注样本的集合；所述源业务场景是与所述目标业务场景相近的业务场景；

使用所述第一样本集合，执行梯度提升决策树GBDT算法流程，依次训练至少一个决策树，直至满足预设的训练暂停条件；

根据使用所述第一样本集合训练出的决策树，确定训练残差；

获取第二样本集合；所述第二样本集合是从所述目标业务场景的数据域获取的已标注样本的集合；

使用所述第二样本集合，基于所述训练残差继续执行GBDT算法流程，依次训练至少一个决策树，直至满足预设的训练停止条件；

其中，所述目标模型是由已训练出的决策树集成得到的。

根据本说明书实施例的第2方面，提供一种预测方法，包括：

从目标业务场景的数据域获取待预测数据；

根据所述待预测数据，确定所述待预测数据对应的模型输入特征；

将所述模型输入特征输入到应用于所述目标业务场景的预测模型，以输出预测结果；所述预测模型是根据上述第1方面的方法得到的。

根据本说明书实施例的第3方面，提供一种基于梯度提升决策树的模型训练装置，用于训练应用于目标业务场景的目标模型，所述装置包括：

第一获取模块，获取第一样本集合；所述第一样本集合是从源业务场景的数据域获取的已标注样本的集合；所述源业务场景是与所述目标业务场景相近的业务场景；

第一训练模块，使用所述第一样本集合，执行梯度提升决策树GBDT算法流程，依次训练至少一个决策树，直至满足预设的训练暂停条件；

计算模块，根据使用所述第一样本集合训练出的决策树，确定训练残差；

第二获取模块，获取第二样本集合；所述第二样本集合是从所述目标业务场景的数据域获取的已标注样本的集合；

第二训练模块，使用所述第二样本集合，基于所述训练残差继续执行GBDT算法流程，依次训练至少一个决策树，直至满足预设的训练停止条件；