[发明专利]基于联合模型的数据处理方法及装置

说明书

本发明的基于联合模型的数据处理方法及装置，将获取到的原始样本划分为训练集和测试集；并根据训练集确定出第一训练样本、第二训练样本和第三训练样本，进而分别拟合第一训练样本、第二训练样本和第三训练样本得到对应的逻辑回归模型以及对应的评价指标，这样能够根据不同的评价指标确定目标模型组合。如此设计，通过集成树模型与逻辑回归模型相结合，从而增加线性模型的非线性能力，从而实现一些业务场景下减少计算机的运算负荷，且保证业务处理的效率。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种基于联合模型的数据处理方法及装置。

背景技术

在各类业务场景中，通常存在数据识别和分类处理等问题，从而实现不同业务的预测和评估。一般而言，在业务处理中所采用的机器学习模型有很多种，以逻辑回归模型为例，常见的业务场景大多采用逻辑回归模型进行业务预测，但由于逻辑回归模型是线性模型，在一些业务场景下可能会增加计算机的运算负荷，且难以保证业务处理的效率。

发明内容

为了改善上述问题，本发明提供了一种基于联合模型的数据处理方法及装置。

本发明实施例提供了一种基于联合模型的数据处理方法，应用于电子设备，所述方法包括以下步骤：

将获取到的原始样本划分为训练集和测试集；

筛选所述训练集的样本特征以得到第一训练样本，通过拟合所述第一训练样本建立XGBoost模型和第一逻辑回归模型，采用所述第一逻辑回归模型对所述测试集打分，得到第一auc评价指标和第一ks评价指标；

基于所述XGBoost模型和所述第一训练样本生成第二训练样本，通过拟合所述第二训练样本建立第二逻辑回归模型，采用所述第二逻辑回归模型对所述测试集打分，得到第二auc评价指标和第二ks评价指标；

合并所述第一训练样本和所述第二训练样本以生成第三训练样本，通过拟合所述第三训练样本建立第三逻辑回归模型，采用所述第三逻辑回归模型对所述测试集打分，得到第三auc评价指标和第三ks评价指标；

根据所述第一auc评价指标、所述第一ks评价指标、所述第二auc评价指标、所述第二ks评价指标、所述第三auc评价指标和所述第三ks评价指标确定目标模型组合；

采用所述目标模型组合对待处理业务数据进行处理。

可选地，筛选所述训练集的样本特征以得到第一训练样本，包括：基于k-折交叉验证筛选方式从所述训练集的样本特征中筛选得到原始特征，以形成所述第一训练样本。

可选地，基于所述XGBoost模型和所述第一训练样本生成第二训练样本，包括：基于所述XGBoost模型的自带接口或者scikit-learn接口，对所述第一训练样本进行处理，得到第二训练样本。

可选地，根据所述第一auc评价指标、所述第一ks评价指标、所述第二auc评价指标、所述第二ks评价指标、所述第三auc评价指标和所述第三ks评价指标确定目标模型组合，包括：

根据所述第一auc评价指标、所述第二auc评价指标和所述第三auc评价指标由大到小的顺序对所述第一逻辑回归模型、所述第二逻辑回归模型以及所述第三逻辑回归模型进行排序得到第一排序序列；

根据所述第一ks评价指标、所述第二ks评价指标和所述第三ks评价指标由大到小的顺序对所述第一逻辑回归模型、所述第二逻辑回归模型以及所述第三逻辑回归模型进行排序得到第二排序序列；

通过所述第一排序序列和所述第二排序序列确定所述目标模型组合。

可选地，通过所述第一排序序列和所述第二排序序列确定所述目标模型组合，包括：

确定所述第一逻辑回归模型在所述第一排序序列中的序列权重以及在所述第二排序序列中的序列权重，并计算所述第一逻辑回归模型的第一综合序列权重；

确定所述第二逻辑回归模型在所述第一排序序列中的序列权重以及在所述第二排序序列中的序列权重，并计算所述第二逻辑回归模型的第二综合序列权重；