[发明专利]一种极值梯度提升逻辑回归分类预测方法

权利要求书

1.一种极值梯度提升逻辑回归分类预测方法，其特征在于，具体步骤如下：

步骤1、将所有样本放入极值梯度提升模型中进行训练，极值梯度提升是由一系列分类与回归树集成的，统计每个样本落在每棵分类与回归树树叶子节点的位置，对于每棵树，对该位置记为1，其余叶子节点记为0，即独热编码；假设有n棵树，每棵树深度为m，则每个样本增加的特征数为：n*2^m-1；

步骤2、将步骤1中的特征数据通过极值梯度提升计算每个特征的重要程度；重要程度计算如下：对于每个特征，计算极值梯度提升中所有分类与回归树树每个分支是否选择该特征的总和；这样得到每个特征的重要系数，将重要系数比较低的特征去掉，留下对结果影响相对比较大的特征，提高后续的预测准确率；

步骤3、将步骤2中得到的新的数据集输入到逻辑回归模型中，该模型是在线性模型的基础上通过Sigmoid函数将输入函数值映射到0到1区间，作为各类判别的概率；当是多分类问题，采用Softmax函数取每个类别的概率，概率大的类别为预测结果类别；其中Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线；将变量映射到0，1之间；Softmax函数是一种归一化指数函数，是逻辑函数的一种推广；

步骤4、模型的评估。对于二分类问题，采用如下评估方法：

准确率：

召回率：

F1值：

其中，TP为真正例，描述真实类别为正例，预测类别为正例；

FP为假正例，描述真实类别为负例，预测类别为正例；

FN为假负例，描述真实类别为正例，预测类别为负例；

TN为真负例，描述真实类别为负例，预测类别为负例。