[发明专利]数据处理方法、装置及存储介质

说明书

本发明提供了一种数据处理方法、装置及存储介质，方法包括：通过获取待处理数据；利用决策树模型对待处理数据进行处理，得到待处理数据的处理结果；其中，决策树模型中的每个树模型是通过分组计算的多个样本数据，以及第二服务器发送的多个异地样本数据对应的中间数据训练得到的。由于本方案中的决策树模型中的每个树模型，需要第二服务器(也就是合作方)发送中间数据，与分组计算的多个样本数据进行联合训练得到，不需要第二服务器的基础数据使得对方数据不泄密，而且由于多个样本数据是分组计算，占用的计算资源较少，所以本方案可以有效的防止合作方数据泄露和提高计算效率。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、装置及存储介质。

背景技术

在多方合作的处理数据的模式下，我方需要通过训练建模后的模型进行数据的处理。现有建模方案需要将数据集中在一处，一次性加载到内存中然后进行训练建模。因此合作方数据必定要泄露给我方机构，而且将数据一次性的加载到内存中进行训练的方案，受到计算机计算资源的影响，计算效率也会降低，所以当前方案存在的技术问题是：合作方数据易泄露给我方和计算效率较低。

发明内容

本发明实施例提供的一种数据处理方法、装置及存储介质，可以有效的防止合作方数据泄露和提高计算效率。

本发明的技术方案是这样实现的：

本发明实施例提供了一种数据处理方法，包括：

获取待处理数据；

利用决策树模型对所述待处理数据进行处理，得到所述待处理数据的处理结果；其中，

所述决策树模型中的每个树模型是通过分组计算的多个样本数据，以及第二服务器发送的多个异地样本数据对应的中间数据训练得到的。

上述方案中，所述利用决策树模型对所述待处理数据进行处理，得到所述待处理数据的处理结果之前，所述方法还包括：

根据所述多个样本数据的多个业务参数计算的梯度向量，确定出特征分组后的所述多个样本数据对应的，多个特征的分裂点向量，以及所述多个异地样本数据对应的，多个异地特征的异地分裂点向量；每个样本数据包括：对应的业务参数和多个特征的特征值；每个异地样本数据包括：对应多个异地特征的异地特征值；

结合所述分裂点向量和所述异地分裂点向量确定出的最佳分裂点阈值，进行所述多个样本数据或者所述多个异地样本数据的迭代分裂，直至满足第一预定条件时停止，得到当前树模型；

利用当前树模型处理得到所述多个样本数据的多个残差，再根据所述多个残差训练得到下次树模型，直至满足第二预定条件时训练停止，得到多个树模型，将得到的所述多个树模型组合形成所述决策树模型。

上述方案中，所述根据所述多个样本数据的多个业务参数计算的梯度向量，确定出特征分组后的所述多个样本数据对应的，多个特征的分裂点向量，以及所述多个异地样本数据对应的，多个异地特征的异地分裂点向量，包括：

根据所述多个样本数据的所述多个业务参数计算的所述梯度向量，确定出特征分组后的多个特征对应的所述分裂点向量；

将所述梯度向量发送给所述第二服务器，接收所述第二服务器根据所述梯度向量反馈的多个异地梯度直方图及其对应的多个异地阈值，进而计算出所述异地分裂点向量；其中，

所述多个异地梯度直方图是所述第二服务器，根据所述多个异地样本数据的多个异地特征值确定的；所述多个样本数据与所述多个异地样本数据包括相同的标识信息；所述多个异地梯度直方图对应多个异地特征；所述中间数据包括：所述多个异地梯度直方图及其对应的所述多个异地阈值。

上述方案中，所述根据所述多个样本数据的多个业务参数计算的梯度向量，确定出特征分组后的多个特征对应的分裂点向量之前，所述方法还包括：