[发明专利]一种极值梯度提升逻辑回归分类预测方法

摘要

一种极值梯度提升逻辑回归分类预测方法，属于大数据分析与智能分类预测领域。通过对样本使用极值梯度提升模型学习之后，将各个样本落在每颗分类与回归树的叶子节点位置进行独热编码组合成新的特征，再与之前的特征结合起来形成组合特征，使得样本的特征增多，组成新的样本。采用逻辑回归法对新样本进行分类预测。融合极值梯度提升与逻辑回归方法；利用极值梯度提升进行特征选择，选择cart树作为基分类器，利用基尼不纯度构成一系列的不相关特征，扩大了特征的维数，将新的特征输入到逻辑回归模型中训练会有更好的预测效果。优点在于，分别利用了极值梯度提升的特征选择和特征扩充的功能，解决了单模型逻辑回归模型预测精度低的问题。

主权项

1.一种极值梯度提升逻辑回归分类预测方法，其特征在于，具体步骤如下：步骤1、将所有样本放入极值梯度提升模型中进行训练，极值梯度提升是由一系列分类与回归树集成的，统计每个样本落在每棵分类与回归树树叶子节点的位置，对于每棵树，对该位置记为1，其余叶子节点记为0，即独热编码；假设有n棵树，每棵树深度为m，则每个样本增加的特征数为：n*2m‑1；步骤2、将步骤1中的特征数据通过极值梯度提升计算每个特征的重要程度；重要程度计算如下：对于每个特征，计算极值梯度提升中所有分类与回归树树每个分支是否选择该特征的总和；这样得到每个特征的重要系数，将重要系数比较低的特征去掉，留下对结果影响相对比较大的特征，提高后续的预测准确率；步骤3、将步骤2中得到的新的数据集输入到逻辑回归模型中，该模型是在线性模型的基础上通过Sigmoid函数将输入函数值映射到0到1区间，作为各类判别的概率；当是多分类问题，采用Softmax函数取每个类别的概率，概率大的类别为预测结果类别；其中Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线；将变量映射到0，1之间；Softmax函数是一种归一化指数函数，是逻辑函数的一种推广；步骤4、模型的评估。对于二分类问题，采用如下评估方法：准确率：召回率：F1值：其中，TP为真正例，描述真实类别为正例，预测类别为正例；FP为假正例，描述真实类别为负例，预测类别为正例；FN为假负例，描述真实类别为正例，预测类别为负例；TN为真负例，描述真实类别为负例，预测类别为负例。